万亿参数Kimi K3推理效率战：TPU巨内核与本土超级算子
原标题：硅谷扔出“巨内核”，中国团队祭出“超级算子”，万亿参数模型效率战打响！
AI 摘要
面对2.8万亿参数开源模型Kimi K3的推理难题，海外TPU优化团队Inferact开源tpu-megakernels，用16颗谷歌TPU v7把整个K3装进一个kernel，配合DSpark投机解码，低并发Decode吞吐达709 tokens/s；浪潮信息发布元脑SD200 Ultra超节点AI服务器，紧耦合128芯本土AI芯片，单机承载K3，Token生成时延首破5.85毫秒。两者共同指向打破算子边界、极致融合推理计算过程的技术思路，并引入AI智能体自动生成超级算子，标志大模型推理竞争从算法层深入到系统软件、芯片互联与内存管理。
正文节选
智东西（公众号：zhidxcom） 作者 | 李水青 编辑 | 漠影 2.8万亿参数的大模型，究竟要怎么跑快？ 近日，海内外团队盯上了全球最大参数量的开源模型——Kimi K3。K3凭借2.8万亿总参数、104B激活参数，刷新了开源模型的性能上限。但普通的AI服务器难以承载这么大参数量的模型，Kimi官方推荐64卡甚至更大规模的AI服务器才能装得下。有业内人士表示，一般未经优化的超节点跑Kimi K3，初始性能可能仅在10 tokens/s左右。 面对如何让2.8万亿参数的Kimi K3跑得更快这一难题，国内外团队几乎同时交出了答卷。 9月21日，浪潮信息在AICC 2026发布元脑SD200 Ultra超节点AI服务器，通过紧耦合128芯本土AI芯片，单机承载2.8万亿参数Kimi K3，Token生成时延首破5.85毫秒。 9月23日，海外TPU推理优化团队Inferact开源tpu-megakernels，用16颗谷歌TPU v7芯片把整个K3装进一个kernel（内核），配合DSpark投机解码，低并发Decode（解码）吞吐达到709 tokens/s。 一个用本土芯片做商业