是石科技发布TokenFleet调度框架，首Token延迟降低32.4%
原标题：首Token延迟降低32.4%！是石科技集群调度大招，国产推理再提效
AI 摘要
是石科技在2026 CCF全国高性能计算学术大会期间发布TokenFleet分布式调度框架，聚焦请求路由、跨机房容量协同和混合负载治理，以提高集群有效Token产出。其TokenPilot技术结合缓存复用收益与排队代价选择实例，在GLM5.3调优数据中使P95首Token延迟降低32.4%、P50降低71.3%；SLOMax在收益测算示例中使达标输出吞吐提高约29.4%。该框架面向国产算力集群的规模化推理服务，旨在降低单位有效产出的成本。
正文节选
首Token延迟降低32.4%！是石科技集群调度大招，国产推理再提效 最新发布TokenFleet调度框架 允中 发自 凹非寺量子位 | 公众号QbitAI GPU集群里，请求排队和资源闲置，可能同时发生。 2026 CCF全国高性能计算学术大会期间，是石科技发布新品TokenFleet分布式调度框架，把优化重点放在请求路由、跨机房容量协同和混合负载治理上，尝试提高现有算力的有效产出。 如果把推理服务看作一座“国产Token优化工厂”，GPU是生产设备，推理实例是工位，业务请求则是一张张订单。TokenFleet负责的，就是把订单与产能匹配起来。 同一批设备，接到的任务不同、分配方式不同，最终的等待时间与达标产出也会不同。规模化服务，需要把这些生产安排一起考虑。 TokenFleet聚焦集群的有效产出 模型部署完成之后，集群还需要同时应对多种业务。 多个模型共享算力，不同租户有各自的服务等级要求。短对话要及时响应，长文档处理需要更多计算与显存，离线批量任务又有完成期限。服务分布在多个机房时，还要考虑各处的容量能否协同。 简单分流可能让部分实例排起长队，其他位置的容量却没有被及时利用。长