ProLand：面向 LoRA 微调的新型不可行流形优化方法
原标题：ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning
AI 摘要
论文提出 ProLand（Product-space Landing），一种用于 LoRA 微调的无回缩（retraction-free）流形优化方法。该方法通过协调 B 与 A 两个因子的更新，使优化步在一阶意义上不改变 B^T B，从而将目标优化与正交性恢复解耦，并结合 Muon 风格的谱方向提升优化效率。在 DeBERTa-v3-base 的 4 个 GLUE 任务以及 Qwen2.5-3B、Llama-3.2-3B、Moonlight-16B-A3B 的 7 个语言基准上，ProLand 在所有模型-秩配置中取得最高平均分。
正文节选
ProLand: A New Infeasible Manifold Optimization Method for LoRA Fine-Tuning Abstract Low-rank adaptation (LoRA) enables parameter-efficient fine-tuning but can suffer from redundant basis directions. Constraining the basis factor to the Stiefel manifold addresses this redundancy through orthonormality. Landing methods allow temporarily infeasible iterates to explore a neighborhood of the manifold while progressively restoring orthogonality without per-step retractions. To improve optimization ef