评测与基准

技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月15日周四 · 20 条

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.MA一手来源研究

CLASHarness：可控可验证的多智能体计算机使用冲突基准

该论文提出 CLASHarness，一个可控且可验证的多智能体冲突生成框架，用于评测视觉语言模型在计算机使用场景中的冲突解决能力。它通过分层场景规划、预提交多模态事实和执行编译验证，构建了包含 600 个多轮任务、20 个操作域、7970 个视觉资产和 3760 个混合检查器的基准。对 15 个前沿模型的评测揭示三大瓶颈：弱模型盲从误导信息而强模型会核查视觉

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

LLM 能否调用世界知识做事件预测？DescribeEvent 基准给出接口解法

该研究探讨大语言模型能否利用其预训练世界知识进行时间事件预测。作者提出，LLM 此前表现不佳并非知识不可用，而是接口设计问题，并给出两项设计：为每个事件提供自然语言描述，以及将事件语义与预测空间解耦（使用无语义的符号标签）。为此他们发布了 DescribeEvent 基准，包含 7 个数据集、6 个领域共 15 万个事件，实验显示能力较强的 LLM 在同时使

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.MA一手来源研究

智能体团队为何跨边界失败？A2A系统私有状态失败分类

该研究针对跨组织边界的智能体间（A2A）系统，分析了超过2500次运行记录，覆盖8个场景族（法律、CRM、安全、商务等），提出了包含20种失败模式的分类体系 -Failures，分为发现与委托、基础与记录一致性、验证、行为与忠实度四类。研究发现智能体倾向于匹配提示中提到的同伴名称而非主动搜索可用同伴、不会主动互相事实核查，且仅评估最终输出会掩盖内部协调与验证

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

DivAlgo：代码生成模型算法多样性系统评估

研究者提出 DivAlgo 基准，用于系统评估代码生成模型的算法多样性，包含算法上不同的编程题解数据集和轻量级相似度指标。对 24 个现代代码生成模型的实验显示，模型生成的代码多样性仅为人类解法的 31%，即使采用温度变化、verbalized sampling 等多样性策略也只能达到 70.5%。研究还发现模型倾向于对齐更流行的人类解法，且无法复现人类解法

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

BenchChecker：评估 LLM 修复 bug 基准的可信度

该论文提出 BenchChecker 框架，用于检测 LLM 修复 bug 基准测试中的数据污染问题。它采用两阶段取证检测：先通过代码前缀探测判断仓库是否出现在训练集中，再通过相似度对齐与测试套件验证补丁是否在训练截止快照中持续存在。在 StarCoder-15B、StarCoder2-15B 和 CodeGen2-16B 上评估，AUC 约 0.9；应用于

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.IR一手来源研究

二十天后：Gemini 回答中品牌提及历史预测的预注册测试

一项预注册复现实验测试了品牌在 Gemini 回答中被提及的预测持久性。研究向 gemini-3.1-pro-preview 发送相同的 162 个请求（54 个问题，覆盖英语、爱沙尼亚语和芬兰语），在 2026 年 9 月 22-23 日约十小时内分三波收集，并在 20.3 天后的 10 月 13 日再次收集。基于前九次回答的预测在 Brier 分数 0.

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

人工性首考：面向超智能的LLM参照C-test

该论文提出了一种名为 ONE 的新型 C-test，利用大语言模型作为通用图灵机来生成和认证难度可量化的逆问题测试项。测试项难度基于条件 Levin 复杂度，以比特为单位在比率尺度上衡量，可在人类或前沿模型解决之前生成高难度题目。作者构建了轻量级生成与认证流程，并对十二个 LLM 进行了测试，得到了随难度下降的智能体特征曲线，覆盖了超出当前前沿智能的超智能窗

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

大语言模型多语言摘要评估：英语与孟加拉语综合研究

该研究在arXiv cs.CL发布，对八个闭源和开放权重的大语言模型在英语和孟加拉语XL-Sum摘要任务上进行零样本基准评测，结合词汇/语义指标、无参考事实性验证和LLM-as-a-Judge多维评估。结果显示跨语言性能差异显著：GPT-5.6 Luna在英语词汇指标领先，但孟加拉语中LLaMA 3.3 70B取得最高ROUGE和BLEU，Gemini 2.

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

智能体数据科学中的沉默失败

该论文指出，当前对数据科学智能体（agentic DS）的评估仅关注下游预测性能和代码正确性，忽略了数据科学方法论和领域知识，从而掩盖了数据泄漏、验证不当等“沉默失败”。作者从三个角度评估：对220个数据科学任务的大规模失败模式分析、可复用的受控测试套件、以及与Kaggle专家方案的定性对比。结果发现大多数智能体生成的流程至少存在一种失败模式，且数据泄漏失败

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.IR一手来源研究

重新审视生成式与稠密检索：静态价值先验逆转差距

该研究重新审视了生成式检索（GR）与稠密检索（DR）在电商候选生成中的表现差异。作者在 Amazon Toys 2014 和 2023 数据集上发现，GR 在双方共同覆盖用户的最佳相关商品价值上领先，而 DR 在精确目标召回和整列表相关价值上领先；分析表明流行度是 GR 价值领先的最大来源（2014 年占 49.8%，2023 年占 65.4%）。作者提出一

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

超越功能正确性：LLM生成代码的静态质量剖析

该论文对LLM生成的Python代码进行大规模静态质量分析，使用Pylint、Radon和SonarQube工具评估LiveCodeBench中73个模型生成的65,663个程序。研究发现，仅靠功能正确性无法捕捉模型间的系统性差异，可维护性是最明显的区分维度，且正确性往往伴随结构性权衡而非更简单的解决方案。作者呼吁评估框架应超越通过率，关注代码的非功能质量。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.LG一手来源研究

视觉CIL方法能否迁移到蛋白质？冻结蛋白质编码器的诊断基准

该研究对九种代表性类增量学习方法在五种冻结蛋白质编码器和两个酶功能数据集上进行了受控基准测试，发现没有任何方法能可靠地跨编码器迁移。诊断分析表明，不稳定性源于仅训练分类头时基于梯度的稳定性信号微弱、嵌入几何差异大，以及协方差容量需求随数据集规模和表示几何变化。作者认为表示本身应被视为持续学习设计的核心组件，而非被动的特征提取器。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

LHTB 2.0：自动化任务构建与长时程智能体进展评测

腾讯混元大模型前沿团队联合多所高校发布 Long-Horizon-Terminal-Bench 2.0（LHTB 2.0），在保留原有 46 个任务的基础上修复缺陷并新增 31 个任务，共 77 个任务、覆盖 13 个领域和 8 种任务类型。新基准通过参数化参考实现自动生成重构任务，并将评估时长从 90 分钟延长至 3 小时、每 30 分钟记录验证器检查点，

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

OS-Bench：评估 SWE 智能体的跨操作系统代码迁移能力

该论文提出 OS-Bench，一个用于评估 SWE 智能体跨操作系统代码迁移能力的可执行基准。它通过对比同一仓库在 Linux 和 Windows 上的执行覆盖率差异来识别平台特定实现，并自动构建迁移任务。基准包含来自 111 个仓库的 140 个任务，覆盖 C、C++、C#、Go 和 Rust，其中 91 个为 Windows 到 Linux 迁移，49