NTCIR-19 大语言模型自动评估任务 AEOLLM-2 概览
原标题：Overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) Task
AI 摘要
本文是 NTCIR-19 自动评估大语言模型任务（AEOLLM-2）的概览论文。该任务在 NTCIR-18 AEOLLM 基础上新增了「深度研究评估」子任务，聚焦于对 LLM 生成的长篇深度研究报告进行自动评估，并通过与人工标注的真实标签对比来衡量各评估方法的性能。本届共收到来自 10 支团队的 91 次提交，论文介绍了任务背景、数据集构建、评估指标、参赛方法及最终结果。
正文节选
Overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) Task Abstract. In this paper, we provide an overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) task. Building on the success of the NTCIR-18 core task AEOLLM, we proposed AEOLLM-2 for NTCIR-19 to further investigate automatic evaluation methods for Large Language Models (LLMs), particularly in long-form text generation scenarios. In AEOLLM-2, we introduced a new subtask, Deep Research Evaluation, which focuses on