GeoRA：为RLVR设计的几何感知低秩适配，获ACL 2026杰出论文

AI 摘要

美团履约技术团队与北京大学联合提出了GeoRA，一种专为RLVR设计的低秩适配方法，通过谱先验和欧氏先验定位RLVR偏好的稀疏更新区域，再用SVD压缩为低秩适配器。实验表明，GeoRA在1.5B到32B的Qwen和Llama模型上，于数学、医学、代码等RLVR任务中稳定优于LoRA、PiSSA等基线，且训练参数降低99.5%，显存降低28.5%。该工作被ACL 2026接收为杰出论文，并已在美团AI骑手招聘场景中落地，效果与全参训练相当，相比LoRA提升约12%。

正文节选

GeoRA: 为RLVR设计的LoRA——ACL 2026杰出论文解析 ACL（Annual Meeting of the Association for Computational Linguistics）是计算语言学和自然语言处理（NLP）领域的国际顶级学术会议，是CCF-A类会议，也是中国计算机学会推荐的自然语言处理方向最高等级国际学术会议。ACL 2026杰出论文奖（Outstanding Paper）在圣地亚哥揭晓，全球共 18 篇入选，美团履约技术团队的《GeoRA:Geometry-Aware Low-Rank Adaptation for RLVR》 就是其中之一。 RLVR已经成为提升大模型推理能力的关键范式，但它的训练开销较高，于是一个自然的技术就是用 LoRA 这类参数高效微调方法来做 RLVR。但是，LoRA 及其变体几乎都是在 SFT 场景下建立并验证的。而近期一系列机制研究表明，RLVR 与 SFT 的优化几何存在本质差异：RLVR 则更像一次受约束的优化，有效更新分散在稀疏的子空间中，并倾向于避开预训练权重的主方向。因此，把为 SFT 设计的先验直接搬到

发布时间：—

抓取时间：2026-08-28 18:12

来源机构：Meituan