AlphaDiana：可验证推理任务中的智能体测量系统
原标题：AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
AI 摘要
香港浸会大学等机构的研究者提出 AlphaDiana，一个用于可验证推理任务中智能体评测的测量系统，提供数据集、智能体、环境和评分器的模块化接口，并能在匹配条件下对工具、技能、记忆等组件做微观干预。研究在五个基于答案的基准上测试了三个开源模型与三个开源 harness，另有两个模型在交互式基准上测试，发现 harness 并不稳定提升推理准确率，技能引导与历史记忆保留也未必可靠提升准确率。该系统将答案正确性与执行状态关联到轨迹和资源记录，用于在共享任务与资源策略下比较智能体并诊断失败。
正文节选
[Page 1] AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks Zhanke Zhou1†, Zongze Li1*, Weikai Huang1*, Xuan Li1*, Chentao Cao1*, Xiao Feng1 Xiangyu Lu1, Jinbo Hu1, Yi Xie2, Nico Pelleriti3,4, Shiyang Liu1, Menghan Lu1, Max Zimmer3 Brando Miranda5, Jiangchao Yao6, Bo Liu2, Sanmi Koyejo5, Sebastian Pokutta3,4, Bo Han1 1TMLR Group, Hong Kong Baptist University; 2University of Arizona;