严骏驰团队提出 JTok 与 xHC 两条 Transformer 扩展思路

AI 摘要

上海交通大学教授严骏驰在 CNCC 2026 演讲中介绍了两项 Transformer 架构改进工作：JTok 为每个 token 引入可学习参数表，通过查表和逐元素运算调制前馈网络更新；xHC 扩展残差流至十六路，采用稠密读取、稀疏写回降低计算代价。实验显示 JTok-M 在同等损失下节省约 35% 训练算力，xHC 相对标准 Transformer 节省约 33%，但推理延迟和访存开销仍有代价。

正文节选

0 作者丨张璐 编辑丨张驰 增加参数、扩展专家数量、投入更多训练数据，是大模型提升能力的常见路径。但对于算力和数据资源有限的高校团队，沿着这些方向持续扩大规模并不容易。 在现有 Transformer 架构之上寻找其他扩展维度，是上海交通大学人工智能学院教授严骏驰，在前不久的CNCC 2026演讲中分享的研究思路。 在题为《大模型新架构探索：JTok & xHC》的报告中，严骏驰介绍了两项工作：JTok 为 token 引入可学习的参数表，通过查表和逐元素运算调制模型更新；xHC 则扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。 两项研究都关注一个问题：新增容量能否以较低的额外计算代价，带来持续的训练收益。 严骏驰也讨论了这些方法的实际限制：小规模实验中的优势能否在更大规模上保持，训练算力的节省如何与推理延迟、访存开销相权衡，以及系统工程如何影响架构创新的效果。 以下为演讲整理。雷峰网(公众号：雷峰网) 今天分享的是我们在大模型新架构方面的一些探索。把它称为“新架构”，可能有一点夸大，实际上主要是在现有架构上做调整和改进。 为什么没有直接去做颠覆性的架构？一方面，我们没有那么多算

发布时间：2026-11-04 15:48

抓取时间：2026-11-04 18:50

来源机构：雷峰网