UnityBench-Mini3D:评估 LLM Agent 的 Unity 3D 游戏开发能力
原标题:UnityBench-Mini3D: Evaluating LLM Agents for 3D Game Development in Unity
AI 摘要
Unity China 联合纽约大学、中科院、厦门大学、哥伦比亚大学、北京大学、香港科技大学等机构提出 UnityBench-Mini3D,一个面向 Unity 3D 游戏开发的 LLM Agent 基准,包含 77 个项目级任务、7 类专家定义的技能和 3 个难度层级,并用 1178 个人工编写的里程碑测试在引擎内做确定性评测。在 21 个模型和 9 种编码框架上,简单任务平均通过率为 80.9%,困难任务降至 35.2%,总体仅 57.7%。该基准旨在弥补现有游戏开发基准引擎覆盖窄、任务组织脱离实际开发流程、评测依赖主观 LLM 裁判或粗粒度结果的问题。
正文节选
UnityBench-Mini3D \affiliations1Unity China 2New York University 3University of Chinese Academy of Sciences 4Xiamen University 5Columbia University 6Peking University 7The Hong Kong University of Science and Technology \correspondence∗Equal contribution. †Corresponding authors: shao.minghao@nyu.edu, heng.chang@unity.cn, jie.feng@unity.cn \paperdateNovember 2026 \paperversionVersion 1.0 \divisionAI Hub \codeurlhttps://github.com/Unity-China/UnityBench-Mini3D \abstracttextGame development st