全带宽 Transformer：通过潜在反馈提升推理效率
原标题：Full-bandwidth transformer
AI 摘要
Hugging Face 每日论文发布了一篇关于全带宽 Transformer 的研究，该研究通过引入潜在反馈机制，将解码步骤中顶层隐藏状态与采样 token 嵌入融合后反馈回网络底部，以拓宽垂直反馈通道，从而在不改变核心架构、KV 缓存和语言建模目标的前提下提升推理能力和效率。实验表明，在 1B 参数规模、400B token 的训练下，全带宽 Transformer 在验证损失、少样本语言模型评估、数学和代码生成以及指令微调性能上均有提升，能以更少的推理开销匹配或接近使用约 1.5 倍 token 训练的标准 Transformer，并能在同等或更高准确率下生成更短的推理轨迹。该研究还提出了一种新的预训练范式，即在训练时投入更多计算，以获得相同推理成本下更强的能力。
正文节选
Full-bandwidth transformer Abstract Full-bandwidth transformers use latent feedback of top-layer hidden states to improve reasoning and efficiency without altering the core architecture. Autoregressive transformers compute along two axes: horizontally across generated tokens, and vertically through model depth. Dense attention gives each token broad horizontal access to the past, but the vertical feedback channel between decoding steps remains narrow: only the sampled token returns to the bottom