PAR：进度对齐循环提升状态跟踪的长度泛化

AI 摘要

研究者提出 Progress-Aligned Recurrence（PAR）训练方法，让循环语言模型在第 k 次迭代时预测前 k 步操作后的状态，并将循环状态重新缩放到首次迭代的范数。在 swap-S_5 任务上，仅用最多 32 步序列训练的 Qwen2.5-0.5B 模型在 512 步时达到 95.5% 全状态准确率，实现 16 倍长度外推，显著优于 RLT 的 55.7% 和显式思维链的 0.8%。该方法在多种 Qwen2.5 与 Qwen3 模型规模上均有效，并支持仅用最终答案监督训练。

正文节选

PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking Abstract Progress-Aligned Recurrence trains looped language models to match intermediate states and stabilize recurrent norms, enabling strong length extrapolation on sequential tracking tasks. Looped language models can run more iterations at test time, but additional iterations need not help them solve longer problems. For sequential state tracking, final-answer supervision does not specify how far each iteration shou

发布时间：—

抓取时间：2026-10-21 19:23

来源机构：Hugging Face