商汤大装置日均6万亿Token背后的异构推理实践
原标题：日均6万亿Token服务背后，商汤大装置如何提升推理效能？
AI 摘要
商汤大装置副总裁、CTO宣善明在第十届CSDI Summit上分享Agentic时代AI基础设施实践，指出多Agent协作和长任务执行使Token需求呈千倍级增长，行业竞争焦点从算力规模转向高质量Token产能。商汤大装置以PD分离为核心构建万卡级异构推理集群，通过异构混合调度、节点角色动态切换等方式提升效率，特定配置下整体Token吞吐量可提升至基准方案的5倍。商汤还探索跨域PD分离与AF分离，并称平台日均Token服务量已达6万亿，预计2026年第四季度达到日均10万亿规模。
正文节选
日均6万亿Token服务背后，商汤大装置如何提升推理效能？ AI基础设施竞争转向高质量Token产能 10月16日，第十届CSDI Summit中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO宣善明在主论坛发表题为《Agentic时代AI基础设施实践与趋势》的主题演讲，围绕Agentic时代Token增长趋势、异构推理集群实践及AI基础设施新技术探索等话题，分享了商汤大装置在大规模推理服务领域的技术探索与实践。 宣善明指出，随着AI应用从对话式问答逐步走向多Agent协作和长任务执行，Token需求呈千倍级增长，AI基础设施正面临需求爆发与算力供给约束并存的新局面。未来，行业竞争的关键不仅是拥有多少算力，而是如何通过架构创新、异构协同和资源调度等，以更低成本、更高效率、更稳定地持续产出高质量Token。 从算力规模到Token产能，AI基础设施迎来效率之变 相较于传统对话式问答，单Agent工具调用、多Agent协作以及长任务、无人值守执行，涉及更多模型调用、推理轮次和上下文处理，Token消耗呈现千倍级增长。与此同时，高端芯片供给受限、存量算力与推理任务的资源需求不匹