返回全部动态

OS-Bench:评估 SWE 智能体的跨操作系统代码迁移能力

原标题:OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration

arXiv cs.SE一手来源研究质量 88

AI 摘要

该论文提出 OS-Bench,一个用于评估 SWE 智能体跨操作系统代码迁移能力的可执行基准。它通过对比同一仓库在 Linux 和 Windows 上的执行覆盖率差异来识别平台特定实现,并自动构建迁移任务。基准包含来自 111 个仓库的 140 个任务,覆盖 C、C++、C#、Go 和 Rust,其中 91 个为 Windows 到 Linux 迁移,49 个为 Linux 到 Windows 迁移。评估六种模型配合 SWE-agent、Claude Code、OpenHands 和 Win-agent,最佳配置在 Linux 目标任务上成功率仅 26.4%,Windows 目标任务上仅 20.4%,表明跨 OS 迁移是极具挑战且尚未充分探索的能力。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

October 2026 OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration Qirui Jin1,∗,‡    Kenan Li2,∗,‡    Liao Zhu2    Lingching Tung2    Yikai Zhang2    Yijia Wu2    Zijian Jin2    Pengfei Gao2    Yu Kang2    Qingwei Lin2    Wenke Lee1 1 Georgia Institute of Technology 2 Microsoft Abstract Language-model (LM) agents are increasingly evaluated on repository-level software engineering (SWE) benchmarks derived from GitHub issues and pull requests. Although these benchmarks cover a broad range of


发布时间:2026-10-15 12:00
抓取时间:2026-10-15 12:37
来源机构:arXiv
阅读原文arxiv.org