漂移契约：面向深度鲁棒局部学习的谱更新
原标题：The Drift Contract: Spectral Updates for Depth-Robust Local Learning
AI 摘要
该论文研究将 Muon 风格的谱更新几何（动量正交化加谱步长缩放）应用于逐层局部学习，此前这一交叉领域未被研究。在 CIFAR-10 MLP 基准上，单一固定步长设置在宽度 128 至 2048、深度 12 至 48 的网格中均为最优，而局部 Adam 需沿两个轴重新调参且在深度 48 时崩溃（31.3%）。作者进一步提出「漂移契约」，将步长表述为每层、输入条件下的预激活变化上界，在宽度 1024 时比最佳固定学习率约高 1 个百分点，并在各宽度上均优于局部 Adam。一个负面结果是：当主干加入 RMSNorm 和权重衰减时，谱更新的稳定性收益转向全局训练而非局部训练。
正文节选
The Drift Contract: Spectral Updates for Depth-Robust Local Learning Abstract Local learning trains each layer with its own auxiliary loss and no global backward pass, which makes layer updates structurally parallel. Two problems have kept it marginal: accuracy degrades as depth grows, and hyperparameters are fragile. We apply Muon-style spectral update geometry (momentum orthogonalization with spectral step scaling) to per-layer local updates, an intersection not previously studied. On CIFAR-10