Kimi与DeepSeek同框：大模型注意力架构从分流走向重组
原标题：Kimi 和 DeepSeek，为什么出现在同一张模型架构图里？
AI 摘要
文章梳理了大模型注意力机制的演进路径：从全局注意力（Full Attention）到线性注意力（Linear Attention）与稀疏注意力（Sparse Attention）的混合架构。以MiniMax为例，其从Text-01押注Linear、M2回归Full、到M3转向自研MiniMax Sparse Attention（MSA），反映了不同阶段约束的变化。文章指出，GLM-5.3-Flash等新模型将Kimi的KDA线性注意力与DeepSeek的KPool-DSA稀疏注意力组合在同一架构中，说明Linear、Sparse、Full正从竞争路线变为同一设计空间的可组合选项，技术路线标签的有效期越来越短。
正文节选
大模型 Attention 路线变迁：从分流到重组。 作者丨李娜 编辑丨岑峰 一张大模型架构图里，同时出现了 Kimi 和 DeepSeek 的影子。 GLM-5.3-Flash项目配置文件：45层架构中，34层采用Kimi路线的KDA线性注意力，另外11层采用DeepSeek路线的KPool-DSA稀疏注意力今年以来，大模型架构里出现了一条越来越清晰的变化：一些混合注意力架构中原本由全局Attention承担的角色，开始被Sparse Attention(稀疏注意力)接替。要理解这个变化，得先回到 Attention 本身。Attention解决的是一个基础问题：模型处理当前token时，能不能在越来越长的历史里，找到真正有用的信息。大致来看，目前常见的Attention机制可以理解成三类：全局注意力（Full / Global Attention）直