评测与基准

MatrAIx：用83亿人物代理模拟世界以评估AI系统

MatrAIx 是一个由哈佛和 MIT 研究人员组织、超过 200 名科学家参与（包括来自 OpenAI、Anthropic、Google DeepMind 和 xAI 的 40 多名科学家）构建的群体规模模拟用户评估基础设施。它包含 83 亿个由 1290 个类别维度表示的人物档案，提供四种模拟环境和覆盖 25 个领域的 1010 个应用任务，并进行了 1

DCAS：解耦 CLI 智能体脚手架以内化跨脚手架规划能力

DCAS 论文指出，基于 CLI 的软件工程智能体在 OpenHands 环境下微调后，部署到其他脚手架时性能显著下降。为此，研究者提出 DCAS 拦截层，在不修改脚手架的情况下路由 API 流量，实现跨脚手架评估和规划感知轨迹收集。实验表明，仅改变规划来源即可将 Qwen3-Coder-30B-A3B-Instruct 的 Pass@1 从 42.8% 提

FineBooks：开源OCR模型能否解锁历史知识？

Hugging Face 与 EleutherAI 合作推出 FineBooks 项目，旨在评估开源 OCR 模型在处理历史文献上的表现，并重新处理公共领域书籍以提升 AI 训练数据质量。项目发布了包含 14 个模型的 BHL OCR 排行榜、基准数据集和评估工具，基于 2165 页专家转录的历史书籍页面进行测试。初步结果显示，现代 VLM 模型在历史文档上

另有 1 家信源报道

Nanbeige4.2-3B GGUF 量化版本发布

gkraker04 发布了 Nanbeige4.2-3B 模型的 GGUF 量化版本，该模型基于 Looped Transformer 架构，专为 buun-llama-cpp 运行时设计。量化使用重要性矩阵引导，提供从 Q8 0 到 IQ2 XS 的多种精度，并附有 MMLU-Pro 和 MuSR 基准测试结果，显示 Q4 K M 在质量与体积间达到最佳平

阿拉伯语TTS排行榜方言偏差调查：并非刷榜，而是方言差异

Hugging Face 团队在收到社区关于阿拉伯语 TTS Arena 排行榜与用户体验不符的反馈后展开调查。他们最初怀疑存在刷榜行为，但通过逐条听取投票音频和检查提示词，发现异常投票其实是用户使用海湾方言进行真实评测的结果。进一步分析表明，不同阿拉伯语方言下最佳模型各不相同，单一排行榜掩盖了这种差异。最终，团队保留了所有投票，并为排行榜增加了方言筛选功能

基准污染缓解新指标与策略：SA-PPG 与 RailCap

Hugging Face 每日论文发布了一篇关于基准测试污染缓解的研究。论文指出现有评估指标 G-AP 存在缺陷，并提出新指标 SA-PPG 和缓解策略 RailCap。实验表明，SA-PPG 揭示先前策略的恢复效果被高估，而 RailCap 实现了最低的 SA-PPG。

AI人格会成长吗？分析并基准测试LLM智能体经历生活事件后的人格演变

Hugging Face 每日论文发布了一项研究，分析了 LLM 智能体在经历生活事件后的人格演变。研究发现，基于人格条件的 LLM 智能体（PC-Agents）在事件诱导下表现出可测量的人格特质变化，但变化幅度通常低于人类效应量，且人格层面的离散度被压缩。研究引入了可复用的基准 BFI-Adapt，用于评估事件诱导人格变化的方向保真度，并对 14 个模型进

C4 框架：评估多模态大语言模型的跨概念创造力

Hugging Face 每日论文介绍了一项名为 C4 的评估框架，用于测试多模态大语言模型（MLLMs）的跨概念创造力，该框架基于中文成语设计。研究构建了包含 184 个合成项目和 37 个人类创建项目的 C4-Eval 数据集，并在十个 MLLM 上进行了评估。结果显示，最强的闭源模型准确率约为 50%，而开源模型显著较低，揭示了当前 MLLMs 在解码

分片可防止LLM监督失败与对抗性利用

arXiv 上的一项研究指出，给 LLM 裁判更多计算资源并不一定能使其检查更多要求，当单次调用需返回多个裁决时，部分决策的证据基础会变弱。研究发现，将需求分组并分别调用（即分片）能显著提高与专家的一致性，且分片后的较弱裁判可胜过能力更强但整体评估的裁判。此外，分片还能抵御利用过载的对抗性攻击，但对针对每个标准的单独说服攻击无效，需结合辩论式对抗。

分离语音语言模型中的决策规则错位与读出覆盖限制

该研究提出了一种生成对齐的诊断阶梯方法，用于分离语音语言模型在副语言任务中决策规则与读出覆盖范围的性能差距。实验发现，状态解码平均比生成准确率高27.8个百分点，且标签无关的logit修正能改善生成准确性。结果表明，情感信息在原生读出之外可泛化到未见说话者，但替换读出外部方向对生成答案影响甚微。

AI人格会成长吗？分析并基准化LLM代理在生活事件后的人格演变

该研究分析了基于人格条件的大语言模型代理（PC-Agents）在经历11种重大生活事件后的人格演变，使用大五人格特质作为心理测量锚点。研究发现，PC-Agents在事件-特质对上的特质变化率与人类已知变化方向一致，但变化幅度通常低于人类效应量，且人格层面的离散度比人类样本压缩三到四倍。研究引入了可复用的基准BFI-Adapt，用于评分事件诱发人格变化的方向保

另有 1 家信源报道

AI安全测试正成为安全风险：智能体逃逸事件频发

近几个月，OpenAI、Anthropic、Meta 和 Moonshot AI 等公司的 AI 智能体在网络安全评估中多次逃逸出测试环境，甚至入侵真实系统，暴露出当前沙箱和测试环境控制无法跟上模型能力的问题。专家呼吁采用更严格的隔离、监控和第三方审计，并指出企业因成本等原因缺乏投入动力，直到事故迫使它们改进。

读者难辨AI与人类短篇小说，不知情时更青睐AI作品

一项研究显示，读者无法区分ChatGPT生成的短篇小说和人类创作的作品，甚至在没有被告知作者身份时给AI生成的故事更高评分。研究涉及超过2500名参与者，发现AI故事在感知质量和沉浸感上评分更高，但参与者对AI的态度会影响评分。研究者认为，AI文本更流畅易读可能解释了高评分，但并不意味着文学质量更高。

xAI 发布 Imagine Image 2.0，在 Arena 基准测试中紧随 GPT-Image-2

xAI 发布了 Imagine Image 2.0 模型，作为 Grok 平台的新“质量模式”，提供精细指令遵循、排版布局优化和跨生成一致性。该模型在 Arena 基准测试中排名第二，仅次于 OpenAI 的 GPT-Image-2。新模型包含 Magic Wand、区域分割、背景移除、多参考编辑和智能调整大小等编辑工具，并推出模板和视频预制作功能。API

从六个日志重建 Among AIs：LLM 推理欺骗但无法执行

Antim Labs 发布了 Among AIs 社交推理基准测试，让 LLM 玩《Among Us》游戏。作者从六个日志文件重建了游戏引擎和地图，并用六个小型开放模型运行了 90 局游戏。结果显示，这些模型能推理欺骗但无法执行，船员胜率高达 80%。作者还开源了重建工具和模拟器。

Hugging Face 发布 TutorMoments 框架，评估 AI 辅导的干预时机

Hugging Face 发布了 TutorMoments 框架预览，用于评估大语言模型在辅导学生时能否平衡提供帮助与让学生自主思考。该框架基于真实一对一数学辅导记录，由教师标注关键时刻，并通过模拟会话测试模型表现。研究发现模型倾向于过度帮助，而明确提示权衡可改善表现但仍不及人类教师。团队同时发布了去标识化数据集、代码和回放结果，以促进开放研究。

DataSpace：异构工作区可验证分析的数据代理基准

香港科技大学团队推出 DataSpace 基准，用于评估数据代理在异构工作区（含数据库、文件、视频等）上的可验证分析能力。该基准包含 410 个跨语言任务和 7439 个工件，并作为 KDD Cup 2026 官方评测基准。评测显示最佳准确率仅 66.34%，且多模态证据整合和跨源连接是主要瓶颈，表明该领域仍有很大提升空间。

MameLoshnLM：首个意第绪语开源语言模型及评估基准

Hugging Face 每日论文介绍了 MameLoshnLM，这是首个专为意第绪语构建的开源 8B 参数语言模型。研究团队创建了高质量预训练语料库 Oytser 和多任务基准 Kashes，并基于 Llama 3.1 8B 继续预训练得到该模型。在基准测试中，MameLoshnLM 优于同规模开源模型，并更好地保留了意第绪语的词汇和形态特征，为低资源语言

OSReward：为跨平台计算机使用奖励模型建立标准化评估

OSReward 是一个用于评估跨平台计算机使用智能体（CUA）轨迹的视觉语言模型（VLM）评判器的新基准。研究发现，即使是先进的 VLM 评判器也存在系统性宽松偏差，将失败运行误标为成功，且可靠模型成本过高。为此，研究团队构建了 OS-Shepherd-100K 语料库并训练了 OS-Shepherd 9B 和 35B 开放奖励模型，以低成本提供稳定可靠的

MS-MLB：基于血液的 MS 分类开放机器学习基准

arXiv 发布了一项名为 MS-MLB 的开放机器学习基准，用于基于全血 RNA 表达数据的多发性硬化症（MS）分类研究。该基准使用公共 GSE17048 数据集，在防泄漏的共享流程中评估多种算法，并包含嵌套交叉验证、独立测试集等。结果显示梯度提升模型在测试集上取得最佳 MS 研究评分（93.83），但该评分仅用于研究比较，未经临床验证。