DeepSeek开源推理框架DeepInfer与token编解码组件
原标题：梁圣大气！DeepSeek推理框架全开源，公布日均吞吐和毛利，真正的OpenAI来了
AI 摘要
DeepSeek开源了内部大规模云服务推理框架DeepInfer和生产级token编解码组件deepseek-recipe，并发布详细技术报告。DeepInfer支持分布式推理、推测解码、SWA Bounded Replay和结构化输出，可在英伟达与华为昇腾平台运行，支撑DeepSeek V4.1 Flash实现单集群155万亿Tokens/天吞吐、每卡每小时38美元收入。团队还披露了吞吐、成本、延迟三条优化路径，但KVCache管理与负载均衡组件因与内部基础设施耦合较深暂未完整开源。
正文节选
智东西（公众号：zhidxcom） 作者 | 王涵 编辑 | 心缘 梁圣又来送福利了！ 智东西10月20日报道，刚刚，DeepSeek开源了其内部使用的、大规模云服务推理框架DeepInfer和生产级token编解码组件deepseek-recipe。 DeepInfer框架集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，可在英伟达与华为昇腾平台上运行。 据DeepSeek团队公布，DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务就是基于该框架实现的。目前，其单一集群的服务吞吐是155万亿Tokens/天，整体收入按照谷价计算是每卡每小时38美金（约合人民币253.81元）。 这个数字是什么概念？按这个数字粗略计算，一张卡24小时满负荷运行，每天收入为6091.38元；一个月按照30天计算，那月收入就有185711.4元。 生产级Token编解码组件deepseek-recipe则支持主流大模型API协议与模型Tokens之间的编解码，处理逻辑与DeepSeek官方API完整对齐，可以确保第三方