美团发布Agent评测白皮书系列01：评测全览

AI 摘要

美团技术团队发布《Agent 评测白皮书》系列第一篇《Agent 评测全览》，指出过去三年基座模型能力提升与 Agent 框架功能丰富使搭建 Agent 门槛持续降低，但绝大多数 Agent 项目因缺少可靠判断机制而失败。文章提出完备评测体系可概括为四个模块、三种能力、两条 Loop、一套资产，并强调评测应从答案评测走向行为评测，同时需通过 Case 挖掘与归因让评测体系与 Agent 迭代形成正反馈。

正文节选

《Agent 评测白皮书》系列01：Agent 评测全览 过去三年，有两条趋势在同时发生。 一是基座模型的能力持续进化，它带来的结果是对使用者的要求在往下降。早期要让模型稳定地按格式输出、正确地选中一个工具，需要反复打磨 Prompt、设计各种兜底。现在这些能力越来越多地由模型本身承担，长上下文、原生工具调用、更强的指令遵循和多步推理，把大量原本需要工程去补的地方补上了。 二是 Agent 框架的功能持续丰富。从早期需要自己实现规划、记忆、工具注册和状态管理，到现在框架和协议层把这些抽象成标准组件，接一个工具、加一个 Skill，工作量都在显著下降。 两条曲线叠加，结论很直接：搭建 Agent 门槛正在逐年降低。这带来的直接变化是 Agent 落地场景越来越多，越来越发散。 自 2022 年底 ChatGPT（基于 GPT-3.5）发布以来，市场上出现了一波又一波 Agent 项目。但是那些真正走过冷启动、完成灰度扩量、推到全量的项目数量屈指可数。这导致掌握 Agent 评测方法的人非常稀缺。 过去三年绝大部分 Agent 项目都死掉了。它们消失的原因有一些共性： - 停在 Demo：

发布时间：—

抓取时间：2026-09-10 15:56

来源机构：Meituan