配方匹配而非等价：LLM生成基准的检索有效性研究

AI 摘要

该论文提出 MathNet-Retrieve 基准测试存在“配方匹配”问题：基准的金标文档由固定 LLM 提示生成，模型可能学会该生成流程而非真正测试的检索能力。作者用 Qwen3-Embedding-0.6B 做对照实验，发现用基准自身提示生成的训练对在简单层比计算机代数系统验证的训练对高 R@1 分数，其中一半到三分之二的差距来自 LLM 生成文本本身。在困难层，奖励来自“深度改写对最小编辑近邻”的配对结构，且这种增益在真实重复（如跨语言同题）上消失，说明基准分数提升未必对应真实检索能力。

正文节选

Recipe-Matching, Not Equivalence Abstract MathNet-Retrieve tests whether a retriever can find, for a math problem, a document that states the same problem. It builds those documents itself: an LLM under one fixed prompt writes each gold document and its near-miss distractors, and LLM judges filter the result. We call that procedure the benchmark’s recipe, training on pairs built the same way recipe-matching, and ask how much score it buys beyond the ability the benchmark claims to test. Two mode

发布时间：2026-09-29 12:00

抓取时间：2026-09-29 13:58

来源机构：arXiv