返回全部动态

硅基流动:以Token生产力助力央国企大模型规模化落地

原标题:从“算力”到“Token 生产力”,硅基流动助力央国企大模型规模化落地

雷峰网 AI科技评论商业质量 46

AI 摘要

硅基流动解决方案总监唐安波在2026秋季央国企CIO峰会上分享,提出「Token生产力=产能×利用率×交付质量」公式,并介绍四层解耦推理架构(模型网关、模型服务平台、高性能推理框架、算力调度)。公司已适配近百款模型,并与华为云、沐曦、摩尔线程等国产芯片合作优化推理性能。案例中某央国企将约50台机器从「租机器」改为Serverless模型服务,模型收敛至约十个,每百万Token成本从一百多元降至十元以下,并部署了GLM-5.2、DeepSeek-V4-Flash-0731等大模型。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

0 在企业网 D1net 主办的 2026 秋季央国企 CIO 及数科公司高管峰会(第 19 届)上,硅基流动解决方案总监唐安波出席峰会并作主题分享:《从“算力”到“Token 生产力”:央国企大模型规模化落地的推理基础设施与 ROI 实践》。以下为分享内容精华。 当下,AI 应用正处于爆发式增长的早期阶段,Token 消耗量呈指数级增长。这背后,模型架构持续演进,版本更新节奏快速;同时,算力架构也在不断演进。模型与算力之间,是相互推动的迭代过程。对于企业来说,一方面要适配这些变化,另一方面又要面向自己的业务场景提供多元化模型服务,还要把成本控制在合理范围内。 硅基流动在做的事,就是打通从算力到 Token 之间的转化层:把算力统一纳管起来;通过自研推理引擎,让模型跑得更快、更好。我们既在公有云端建设 Token 工厂,也帮助央国企在内部打造自己的 Token 工厂。 简言之,通过系统化的推理工程,做好模型与算力的多重适配。基于此,硅基流动提出 Token 生产力核心公式:Token 生产力 = 产能 × 利用率 × 交付质量。其中,产能由芯片硬件能力、模型优化水平共同决定;利用率依靠


发布时间:2026-10-23 16:32
抓取时间:2026-10-23 19:38
来源机构:雷峰网
阅读原文leiphone.com