FreeToken：带宽自适应执行的边缘原生 MoE 推理系统
原标题：Paper page - FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution
AI 摘要
FreeToken 是一个面向边缘设备的 MoE 推理服务系统，将个人电脑视为统一的弹性推理平台，动态地将计算和模型状态映射到异构本地硬件上。该系统支持超过 20 个 MoE 模型，能在 8GB 笔记本电脑 GPU 上运行 35B 模型，在游戏台式机上运行 284B 模型，在单工作站 GPU 上运行 753B 的 GLM-5.2 模型。FreeToken 通过协同设计模型布局、专家驻留、CPU-GPU 执行和内存管理，使开放权重模型能在个人设备上高效部署，系统已在 flashml.ai 发布。
正文节选
FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution Abstract FreeToken is an edge-native Mixture-of-Experts serving system that dynamically maps computation and model state onto heterogeneous local hardware to run large open-weight models on personal machines. Frontier open-weight models are increasingly available, but serving them still largely assumes datacenter infrastructure. We present FreeToken, an edge-native MoE serving system that treats a personal machine not