记忆张量开源MemT 1.0：把记忆原生焊进Transformer
原标题：RSI三块关键拼图，MemT 1.0从模型层补上「记忆」
AI 摘要
记忆张量开源发布MemT 1.0系列记忆原生模型，包括36B参数（激活3B）的Nano和288B参数（激活17B）的Flash两个型号，通过在Transformer模块中增加与注意力并行的记忆分支，将经验编码为可训练的内部动态状态。这是记忆原生模型首次实现近300B参数规模的工程验证，在SWE-bench Verified等任务上平均成功率略高于无经验基线，并在11项记忆基准中位列参数化记忆方法前两名。团队称该路线为模型性能增长提供推理之外的第三条曲线，并为持续学习与RSI补上记忆这一关键拼图。
正文节选
RSI三块关键拼图，MemT 1.0从模型层补上「记忆」 把记忆原生焊进Transformer 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI AI圈，最近集体盯上了三个字母：RSI。 Hinton的RSI论文，22位署名作者里，坐着Bengio、OpenAI首席科学家Pachocki、Anthropic联创Jack Clark……几乎AI的半壁江山都在这儿。 大家在将目光投向AI自我改进的同时，一个更值得追问的基础问题浮出水面： 一次改进，如何成为下一次的起点？ 有效的方法需要被保留，走过的弯路也需要被识别，承接这件事的，其实是记忆。 常规的思路很简单：给AI直接外接一个经验库，操作方法、历史教训就能通通被保存检索。 记忆张量在这方面的探索，则给出了一份截然不同的答卷——记忆原生。 何为记忆原生？就是将经验的保留、更新和调用，做成模型可以学习的能力。 当记忆在模型中生根发芽，便构成了记忆原生模型。 其最新开源发布的MemT 1.0系列，就给出了一条颇为具体的路径： 它把经验编码成内部动态状态，再通过训练学习怎样写入、更新和读取，最后让这些状态经由记忆分支参与后续计算。 与外部记