SWORD：基于Wikidata的扰动揭示LLM跨语言事实错误拒绝不一致
原标题：SWORD: Wikidata-based Distortions Reveal Hidden Cross-Lingual Inconsistencies in LLM Factual Error Rejection
AI 摘要
研究者提出 SWORD 基准，通过系统扰动 Wikidata 三元组生成语法正确但事实错误的陈述，覆盖八种语言，用于评估大模型跨语言拒绝事实错误的能力。结果显示，模型在语义上更合理的扰动上准确率反而高于随机替换，说明其依赖分布熟悉度而非真正的事实核查；同时，在东亚语言上拒绝错误陈述的表现显著下降，跨语言差距最高达 28 个百分点（相对下降 49%），而这一差异在传统基准中几乎不可见。
正文节选
SWORD: Wikidata-based Distortions Reveal Hidden Cross-Lingual Inconsistencies in LLM Factual Error Rejection Abstract Modern LLMs demonstrate impressive multilingual performance, yet standard benchmarks primarily reward selecting correct answers rather than evaluating genuine factual understanding. We introduce Systematic Wikidata-based Object-Relation Distortion (SWORD), a benchmark that evaluates whether models consistently reject factual errors across languages. SWORD generates syntactically