Qistas：面向大语言模型公平性评估的可移植预注册协议
原标题：Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models
AI 摘要
研究者提出名为 Qistas 的公平性评估协议，用于评估大语言模型如何对待特定社会的社会、宗教与地域群体，设计上可移植到不同国家，并首先针对伊拉克实例化。该协议只测量无需对争议性真相下判断的维度，包括匹配反事实对的处理对称性、差异化拒答、歧义下的刻板印象依赖和事件术语框架，并采用配对统计与预注册。作者发布了配套编写工具，并报告对 58 条种子库的语义审查：25 个模板组中有 24 个至少未通过一项检查，共 36 项未通过。论文强调这是协议与工具验证，尚未评估任何模型。
正文节选
[Path=fonts/,BoldFont=texgyrepagella-bold.otf,ItalicFont=texgyrepagella-italic.otf,BoldItalicFont=texgyrepagella-bolditalic.otf] [Path=fonts/,BoldFont=Amiri-Bold.ttf,Script=Arabic,Scale=1.08] Qistas: A Pre-Registered, Portable Protocol for Fairness Evaluation of Large Language Models Design, Tooling, and a Reviewed Seed for the First Iraqi Instantiation Abstract Fairness benchmarks for large language models (LLMs) are overwhelmingly English-born and American in their social categories; translate