返回全部动态

多跳检索可预测失败:分数分布置信度评分与弃答

原标题:Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention

arXiv cs.IR一手来源研究质量 83

AI 摘要

该论文研究多跳检索中的失败预测问题,提出CWAR可归约性定理和特征机制互补性命题,证明检索失败在结构上可预测且不同失败机制下主导特征不同。作者提出RegimeAbstain方法,利用最多九个查询-ANN结构特征计算检索置信度分数,无需额外LLM调用即可实现校准弃答策略。在MuSiQue、2WikiMultiHopQA、HoVer三个基准和两种检索架构上,该方法在五种失败机制下均取得最佳或并列最佳AUC-AC,MuSiQue上50%覆盖率时将CWAR从39.5%降至20.6%,且模型可跨数据集迁移。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention Abstract Multi-hop retrieval failures are not uniformly distributed across queries: they cluster in structurally predictable subpopulations. We prove two results formalizing this structure. First (CWAR Reducibility, Theorem 1): confident-failure reduction is achievable if and only if retrieval features carry mutual information about success — a condition satisfied by LLM-judge pipelines but substan


发布时间:2026-09-21 12:00
抓取时间:2026-09-21 12:58
来源机构:arXiv
阅读原文arxiv.org