返回全部动态
商汤大装置异构混推实践：Token服务量半年增长近十倍
原标题：让Token生产更高效：异构混推的关键技术演进与创新实践
AI 摘要
商汤大装置资深技术专家罗伟在2026全球AI芯片峰会Token工厂异构混训混推技术研讨会上发表演讲，介绍商汤大装置以Token为中心的新一代AI基础设施实践。商汤大装置日均Token服务量从2月的0.46万亿增长至8月的4.5万亿，通过横向编排与纵向优化两条主线提升Token产能，并规划从固定P/D配比走向动态资源池、再走向模块级资源池的技术演进方向。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
让Token生产更高效：异构混推的关键技术演进与创新实践 商汤大装置异构混推创新实践与技术演进 Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。 随之而来的，是AI基础设施面临的全新命题与挑战：当Token调用量迈向千倍级增长，推理系统如何承接持续攀升的需求？如何通过异构算力实现高效、稳定的Token生产？ 在近日举办的“2026全球AI芯片峰会·Token工厂异构混训混推技术研讨会”上，商汤大装置资深技术专家罗伟以《Token工厂：以异构算力构建新一代Al基础设施》为主题发表演讲，深入剖析规模化推理面临的系统挑战，并分享商汤大装置在异构推理架构、模型适配及关键技术演进等方面的实践与探索。 01行业挑战：Agent时代，推理负载瓶颈贯穿整套系统 Agent时代的负载特征，和传统单轮对话的推理需求有明显不同。 首先是长上下文，带来了输入计算和KV Cache占用的持续增长；其次是连续多轮的对话，意味着前缀复用和热点不断变化；再者是突发与长尾需求多，意味着流量和长度的分布会持续波动。 罗伟表示，面对这些变化，商汤大装置的底层逻辑已经转向“以Token
发布时间：2026-09-23 17:56
抓取时间：2026-09-23 18:19
来源机构：量子位