Jev-as-a-Judge 用于巴西葡萄牙语信息检索：相关性评估与重排序
原标题：Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking
AI 摘要
该研究评估了 TypeSafe AI 推出的 System One 模型 Jev 在巴西葡萄牙语信息检索中的表现，将其用作相关性判断生成器和重排序器。在四个巴西葡萄牙语 IR 集合上，Jev 生成的相关性判断与官方人工判断的完全一致率为 52.9%–64.9%，二次加权 Cohen's κ 为 0.52–0.82，且至少 94.5% 的标注完全一致或仅差一个等级；基于 Jev 生成的 qrels 得到的系统排名与官方判断高度相似（Kendall's τ 为 0.90–0.93）。在 Quati 测试集的 50 个查询上，Jev 对 BM25 前 1000 个候选重排序后，nDCG@10 从 0.3329 提升至 0.6331（+90.2%），MRR 从 0.6852 提升至 0.9033（+31.8%）。
正文节选
Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking Abstract This study investigates Jev, a System One model designed for fast, structured decision-making, in information retrieval. We use Jev-as-a-judge to generate relevance judgments for four Brazilian Portuguese IR collections covering different domains and compare them with the official relevance judgments of each collection. We also evaluate Jev as a reranker. For relevance assessment, exact agr