OS-Bench:评估 SWE 智能体的跨操作系统代码迁移能力
原标题:OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration
AI 摘要
该论文提出 OS-Bench,一个用于评估 SWE 智能体跨操作系统代码迁移能力的可执行基准。它通过对比同一仓库在 Linux 和 Windows 上的执行覆盖率差异来识别平台特定实现,并自动构建迁移任务。基准包含来自 111 个仓库的 140 个任务,覆盖 C、C++、C#、Go 和 Rust,其中 91 个为 Windows 到 Linux 迁移,49 个为 Linux 到 Windows 迁移。评估六种模型配合 SWE-agent、Claude Code、OpenHands 和 Win-agent,最佳配置在 Linux 目标任务上成功率仅 26.4%,Windows 目标任务上仅 20.4%,表明跨 OS 迁移是极具挑战且尚未充分探索的能力。
正文节选
October 2026 OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration Qirui Jin1,∗,‡ Kenan Li2,∗,‡ Liao Zhu2 Lingching Tung2 Yikai Zhang2 Yijia Wu2 Zijian Jin2 Pengfei Gao2 Yu Kang2 Qingwei Lin2 Wenke Lee1 1 Georgia Institute of Technology 2 Microsoft Abstract Language-model (LM) agents are increasingly evaluated on repository-level software engineering (SWE) benchmarks derived from GitHub issues and pull requests. Although these benchmarks cover a broad range of