谷歌新基准 PLE 揭示工程 Agent 高正确率泡沫
原标题:91% ≈ 0%?谷歌最新研究,戳破工程 Agent 的高正确率泡沫
AI 摘要
Google 与 Mercor 发布 Physical-Engineering's Last Exam(PLE)基准,用 85 项机械、电气、土木与结构工程任务评测工程 Agent。结果显示 Claude Opus 5.5 搭配 Claude Code 在隐藏测试中得分 48.3%,共同创作任务中平均满足 91% 的单项约束,但仅 41.3% 的交付设计满足全部硬性安全与可行性要求。研究指出剩余差距源于约束相互关联、长流程状态一致性以及验证器缺失,并提出硬约束门控与 Creator–Solver 验证机制。
正文节选
0 作者丨郑佳美 编辑丨岑 峰 一条电缆桥架在机房顶部穿过消防管线,就能让几十页正确的计算书失去交付价值。载流量算对了,电压降符合要求,设备选型也有依据,但进入三维空间后,几套系统争夺同一段净空,工程师只能退回方案。 AI Agent 能快速完成局部计算,工程项目却不会按计算题的边界运转:一处调整牵动另一处,刚核验过的结果也可能随修订失效。 Google 与 Mercor 近日发布的 Physical-Engineering's Last Exam(PLE),以 85 项机械、电气、土木与结构工程任务量化了这种落差。 在 56 项隐藏测试中,Claude Opus 5.5 搭配 Claude Code 得分 48.3%,而在共同创作任务中,它平均满足 91% 的单项约束,只有 41.3% 的交付设计项满足全部硬性安全与可行性要求。 更棘手的是,剩下的 9% 往往无法靠继续提高模型的计算能力解决。因为工程设计中的要求彼此关联,解决一个问题,可能又会产生新的问题。 PLE 的技术设计恰好揭示了这一困境:当局部能力已经足够强,工程 Agent 究竟还缺少什么? 01 工程 Agent 正在遭