SONAR：面向 LLM 消费者的无参考代码摘要评估框架
原标题：SONAR: Task-Aware Code Summary Evaluation for LLM Consumers Without References
AI 摘要
arXiv 论文提出 SONAR，一个无需参考摘要的代码摘要评估框架，从正确性、抽象性、简洁性和流畅性四个维度评估代码摘要。SONAR 采用基于代码再生成的方法，利用摘要重建代码作为质量信号，避免依赖人工或 LLM 的主观判断。实验表明，正确性和抽象性与 LLM 在下游软件工程任务中的表现显著相关，相关性比最佳基线高 14 倍，而简洁性和流畅性对 LLM 消费者影响不大。研究还评估了 11 个流行 LLM 在各维度上的优缺点，为任务感知的摘要研究提供见解。
正文节选
Computer Science > Software Engineering Title:SONAR: Task-Aware Code Summary Evaluation for LLM Consumers Without References View PDF HTML (experimental) Abstract:Source code summaries have traditionally been evaluated from a human developer's perspective, with quality determined by how closely they resemble developer-written references and how well they align with human preferences. But this overlooks a growing reality: LLM-based tools and agents increasingly consume code summaries