评测与基准

LLMs能否真正理解题目难度？对自动生成题目的启示

该研究探讨了大型语言模型（LLMs）在预测大规模阅读与写作测试中题目难度水平的表现。研究发现，零样本GPT-4.1（温度设为0）的预测准确率最高，二次加权kappa（QWK）为0.578，但仍低于ConvBERT（QWK=0.625）。所有LLMs在标记难题时表现不佳，GPT-5.4倾向于低估难度，且嵌入分析表明仅凭语义信息不足以预测难度。研究建议在利用LL

Chain-of-Models：跨模型审计提升 LLM 评判者的偏差鲁棒性

arXiv 上的一项研究提出 Chain-of-Models (CoM) 方法，通过让第二个模型审计第一个模型的推理轨迹来减少 LLM 作为评判者时的认知偏差。实验发现，审计者的身份（同模型、同族或异族）影响审计效果，且最佳审计者因偏差类型而异。研究者据此提出按偏差类型选择审计者的规则，在四个偏差数据集上达到最高准确率 0.884，优于固定审计者和无审计基线

AI能否评估AI科学家？基于自动多模型评审的自主研究生成系统基准研究

本研究提出了一种使用前沿大语言模型进行自动同行评审的基准测试协议，用于评估AI科学家系统生成的论文质量。研究对Sakana AI v1/v2、CycleResearcher和Data-to-Paper四个框架生成的60篇论文与FARS公司的15篇基准论文进行了比较，发现FARS论文在原创性、严谨性、清晰度和重要性四个维度上显著优于其他系统。Gemini和Cl

Together AI 推出 FutureBench 基准，评估 AI 智能体预测未来事件能力

Together AI 发布 FutureBench，一个用于评估 AI 智能体预测未来事件能力的基准。该基准通过新闻生成和 Polymarket 整合两种方式构建问题，并采用智能体方法进行评测，旨在避免数据污染并提供可验证的客观结果。

ReasonIF基准揭示大型推理模型在推理中指令遵循失败率高

Together AI 发布了一项名为 ReasonIF 的新基准，用于评估大型推理模型（LRM）在推理过程中遵循用户指令的能力。研究发现，包括 GPT-OSS-120B、Qwen3-235B 和 DeepSeek-R1 在内的前沿模型，在推理过程中遵循指令的失败率超过 75%，且任务难度越高，遵循能力越差。该基准包含 300 道数学和科学问题，涵盖多语言、

语音识别在街道名称上错误率高达39%，合成数据可降低60%

Together AI 的研究显示，语音识别系统在识别不同语言背景说话者所说的街道名称时，平均转录错误率达 39%，非英语母语者的准确率比英语母语者低 18%。他们提出了名为“跨语言风格迁移”的合成数据生成技术，用不到 1000 个训练样本将错误率相对降低 60%。该研究还引入了 SF Streets 和 US Streets 两个新基准，并估计仅旧金山出租

Together AI 基准测试：编码代理推理引擎性能领先

Together AI 发布了一项针对编码代理工作负载的大规模推理基准测试，结果显示其推理引擎在相同硬件上比最快的开源引擎吞吐量高 31%，且在饱和状态下 TTFT 快 2 倍。该基准测试模拟了长上下文、高并发的生产环境，并强调了 TTFT 和预填充压力等关键指标。性能提升源于全栈优化，包括 ThunderMLA 内核融合和自定义内核重写。

ParallelKernelBench：前沿 LLM 尚无法编写快速多 GPU 内核

Together AI 发布了 ParallelKernelBench（PKB），一个用于评估多 GPU 内核生成的基准测试框架，包含 87 个来自真实代码库的问题，要求模型将 PyTorch + NCCL 实现替换为直接通过 NVLink 通信的 CUDA 内核。测试前沿模型如 GPT-5.5、Gemini 3 Pro 和 Opus 4.7 后发现，正确率

Kimi K3 对比 Claude Fable 5：成本与编码能力分析

Together AI 发布了对 Kimi K3 与 Claude Fable 5 在 DeepSWE 基准上的对比分析。结果显示，Kimi K3 在 pass@1 上以 68.5% 略低于 Fable 的 69.9%，但在 pass@2 和 pass@4 上反超，且每次运行成本仅为 4.65 美元，远低于 Fable 的 13.41 美元，每美元解决任务数

xAI 发布多模态模型 Grok-1.5V 及 RealWorldQA 基准

xAI 发布了其首个多模态模型 Grok-1.5V，能够处理文档、图表、截图和照片等多种视觉信息。该模型在多个基准测试中表现优异，特别是在新的 RealWorldQA 基准上超越了 GPT-4V 和 Claude 3 等竞品。xAI 还开源了 RealWorldQA 数据集，包含 700 多张图像，旨在评估模型对真实世界的空间理解能力。

xAI 发布 Grok-2 和 Grok-2 mini 测试版，性能超越 GPT-4-Turbo

xAI 发布了 Grok-2 和 Grok-2 mini 的测试版，在聊天、编码和推理方面性能显著提升，在 LMSYS 排行榜上超越了 Claude 3.5 Sonnet 和 GPT-4-Turbo。这两个模型已在 X 平台上向 Premium 用户开放，并计划于本月晚些时候通过企业 API 提供给开发者。Grok-2 在视觉任务上表现出色，并与 Black

DSGym：统一数据科学智能体评估与训练框架

Together AI 博客介绍了 DSGym，一个用于评估和训练数据科学智能体的统一框架，它整合了现有基准并新增了生物信息学和 Kaggle 竞赛任务。通过 DSGym 生成的数据，研究者训练了一个 4B 模型，在开源模型中达到最先进性能。该框架还解决了基准测试中的记忆化问题，并揭示了模型在端到端机器学习流程中的失败模式。

Kimi K3 模型概览：2.8T 参数与 MXFP4 量化

Moonshot AI 于 2026 年 7 月 16 日发布 Kimi K3，这是首个达到 2.8 万亿参数的开源模型，采用 MoE 架构和 MXFP4 量化，支持 100 万 token 上下文及原生视觉。模型在多个基准测试中表现优异，尤其在编码任务上领先。开源权重计划于 7 月 27 日发布，将推动社区研究和部署。

DeepSeek-V4-Flash 正式版 API 上线公测

DeepSeek 发布 DeepSeek-V4-Flash 正式版 API，模型结构不变，仅重新后训练，在多个基准测试中表现优异。API 调用方式不变，模型名设为 deepseek-v4-flash。DeepSeek-V4-Pro 正式版将尽快发布。

另有 1 家信源报道

Hugging Face 发布 Real World VoiceEQ 基准，评估语音 AI 人类质量

Hugging Face 发布了 Real World VoiceEQ 基准，用于评估语音 AI 的人类质量，涵盖 40 多个模型和 60 多项指标，基于超过 100 万条人工评分。该基准发现语音模型在情感、口音和噪声等真实场景中表现不佳，且没有单一模型在所有能力上领先。研究还表明，语音语言模型（SLM）在主观评估中不能替代人类评分者。

Langfuse v4.1.0 发布：增强代理、评估与迁移功能

Langfuse 发布 v4.1.0 版本，包含多项新功能和修复。新功能包括在 PR 描述中固定预览 URL、增强实验表单验证、扩展应用内代理的后台执行、显示已弃用 API 的最后使用时间、在复制提示时自动生成 API 密钥等。修复涉及助手工具调用副作用、仪表板组件版本、评估器 JSONPath 验证、ClickHouse 评分过滤优化、非流式 LLM 请求

启用两项设置使 ARC-AGI-3 得分提升三倍

通过启用两个 API 设置，GPT-5.6 在 ARC-AGI-3 基准上的表现得到提升，分数和效率均有所提高，其方式是保留推理过程并启用压缩。

Import AI 466：机器人苦涩教训、AI 完成周级编程任务及 OpenAI 意外黑客

Import AI 466 报道了 Epoch 和 METR 发布的 MirrorCode 基准测试，用于评估 AI 系统完成长期编程任务的能力，结果显示 Opus 4.7 等模型能在 14 小时内完成人类需 2-17 周的任务，但仍有部分任务无法解决。同时，Anthropic 展示了 Claude Opus 4.7 在机器人任务中自主完成速度比人类快 20

Claude Opus 5 发布：性能接近 Fable 5，引发基准测试争议

Anthropic 于周五发布了 Claude Opus 5 模型，官方基准显示其性能接近 Fable 5，但独立评估认为其实际表现更优。Epoch 的 ECI 指数显示 Opus 5 得分为 159，略低于 Fable 5 的 161，但在软件工程基准上持平。社区反馈强调其在编码和浏览器自动化等实际任务中的出色表现，同时也有对基准测试有效性的质疑。

开放模型综述：Kimi K3、Qwen 3.8、开源差距与蒸馏争议

在 Interconnects 播客中，Nathan Lambert 和 Florian Brand 讨论了开放模型的近期进展，包括 Kimi K3 的发布、Qwen 3.8 的开放权重计划、中国领导人的开源承诺，以及中美模型差距和蒸馏技术的争议。他们指出，开放模型在特定任务上可能接近前沿，但后训练和微调仍面临挑战。