评测与基准

InfoQ 播客：2026 年 AI、ML 与数据工程趋势报告

InfoQ 的 AI、ML 与数据工程编辑团队联合外部嘉宾 Chip Huyen 等人录制播客，讨论 2026 年 AI 与 ML 领域趋势。讨论要点包括语言模型从大模型转向小模型、推理模型兴起、AI 智能体从个人走向团队和企业、TypeSafe AI 的 Jev 等 System One 模型因推理更快成本更低而获得更多采用、AI 评估受到关注，以及物理

Mistral Large 4 开放权重发布，AIE CODE 大会聚焦编码智能体

Latent Space 的 AINews 介绍了 AI Engineer CODE 大会的策划思路，该大会面向全球前 1000 名 agentic 工程师，围绕 Scaling without Slop、System One 模型和提升野心三大主题回顾 2026 年编码领域趋势并展望 2027 年。同期资讯重点报道 Mistral 发布旗舰模型 Mistr

基准即难度上的经验测度：诊断失配与覆盖缺口

该论文将基准评测形式化为难度上的经验测度，识别出测度失配与覆盖缺口两种核心失效模式，并提出两个带理论保证的诊断指标。作者对覆盖7个领域的25个流行基准进行实证分析，发现许多基准隐式偏重某些难度区间，导致排行榜结论需谨慎解读，另一些则存在明显覆盖缺口。论文进一步提出BenchFill，一种面向难度的题目改写算法，用于在覆盖不足的难度区域生成新样例以缩小局部缺口

多智能体LLM流水线的协调税与异构红利：盈亏平衡条件

该论文提出一个闭式模型，将多智能体LLM流水线的协调税（分解开销加每次交接的协议成本）与异构红利（把工作路由给更便宜模型带来的节省）进行对比，给出盈亏平衡阈值和可行性边界α<1/r。作者在135个HumanEval和ClassEval任务上、用Claude Opus 5.5和Haiku 5.5运行六种架构共2430次，测得OFP协议每次交接仅增加7.2毫秒（

网络拓扑无关紧要：LLM群体中经典共识的失效

该论文研究多智能体语言模型网络的集体行为，发现经典分布式共识理论的三项结构假设（更新为凸组合、群体均值守恒、权重与内容无关）在LLM群体中全部失效。作者通过token级概率确定性地提取连续置信度，在8个指令微调模型、73,080次受控交互上测量LLM更新算子，发现LLM会更新到观测意见凸包之外并表现出负权重（主动排斥）。将拟合算子扩展到10,000个智能体的

暴露不等于承诺：工具使用智能体潜在监控器的双重分层评估

该论文指出，针对工具使用型语言智能体的潜在监控器研究结果相互矛盾，很大程度上是评估方法造成的假象。作者提出双重分层协议，将注入暴露与行为承诺在评估和训练人群中分开。在 Qwen AgentDojo 网格上，用朴素混合对比训练的监控器主要学到的是暴露信号，几乎无法预测智能体是否会执行不安全工具调用；仅在暴露案例上重新训练后，同一类探针可提前最多两步预测模型自身

自动化可解释性评估数据存在结构性捷径

该论文发现，自动化可解释性评估数据中存在结构性捷径：在Neuronpedia存储的500个GPT-2 small SAE特征模糊测试运行中，91.3%的激活样本被裁剪为峰值位于中心token，一个从不阅读解释、仅凭中心token是否被标记作答的规则即可达到0.979的平衡准确率，高于存储LLM评分器的0.838。类似线索还出现在delphi的固定标记位置、全

ICall-Bench：评测大模型在二进制程序中的跨过程推理

研究团队提出 ICall-Bench 基准，用于直接评估大语言模型及智能体在二进制程序中进行跨过程语义推理的能力，以间接调用目标恢复作为可验证的探测任务。该基准覆盖 50 个真实 C/C++ 程序，平均每个程序约 7.5 万行代码、941 个函数，并设置纯模型推理、静态工具增强智能体、联网开放世界智能体三种分析模式。对五个近期模型的评测显示，程序级可验证成功

chATLAS：面向ATLAS实验的检索增强对话助手

CERN的ATLAS实验团队开发并部署了chATLAS，一个基于检索增强生成（RAG）的对话助手，可访问超过3万份内部文档。系统采用稠密-稀疏混合检索，部署在CERN基础设施上，并通过自动生成问答对构建的领域基准进行评估。研究发现，嵌入模型微调结合上下文检索可将最技术性文档源中正确文档作为首位返回的频率提高一倍以上。系统还包含意图路由、安全处理、Matter

WorkFactory：将专业意图转化为可执行工作以扩展智能体训练

研究团队提出 WorkFactory 框架，通过信息规划与修复从专业意图构建连贯可执行的专业任务，并据此构建了覆盖 612 种职业的 112,686 个任务。团队用收集到的教师轨迹微调 Qwen 模型（4B、27B、35B-A3B 规模），得到 WorkPilot 系列，三个模型在四个专业工作基准上均优于各自基座模型，其中 WorkPilot-35B-A3B

DICPlay 发布 RusMind-Vspyshka 端侧俄语模型 4.7 版

DICPlay 在 Hugging Face 发布 RusMind-Vspyshka 模型仓库，汇集其俄语端侧模型「Вспышка」各版本，最新 4.7 版为 7.5B 参数、以 GGUF 格式提供，可离线运行。据其引用 MERA v2 榜单，Вспышка 4.7 总分为 0.191，在 10B 以下模型中排第二，仅次于同系列 RusMind Сокол；

DICPlay 发布 RusMind 俄语模型系列，称在 MERA 榜单超越更大模型

DICPlay 在 Hugging Face 发布 RusMind 系列俄语模型，包括 89 亿参数的 RusMind 4.7 Sokol（支持逐步推理）和 75 亿参数的 Vspyshka 4.7（端侧离线运行），以及 46 亿参数、激活 20 亿的 Momentum。据 MERA v2 榜单，Sokol 在 100 亿参数以下模型中排名第一，Vspysh

Hemmingway-1：基于Qwen3.8的27B日常写作模型开源发布

瑞士公司 The Commons Lab 在 Hugging Face 发布 Hemmingway-1，一个基于 Qwen3.8-27B 微调的 27B 参数开源权重模型，主打日常消息、邮件等写作场景，采用 CC BY-NC 4.0 非商用许可。团队用自建的 CommunicationBench、Human-Likeness 和 StoryBench 基准测

Falcon：高效流式音视频目标说话人提取方法

研究者提出轻量级因果音视频目标说话人提取方法 Falcon，通过单次编解码的多尺度时频分离与编码器空间说话人对比损失，在零推理成本下抑制近场干扰泄漏。同时发布 RealSSA 基准，包含可控模拟场景（1-5 个动态近场干扰说话人，远场场景另含 10-15 个远场干扰源）与真实录音留出评测集。Falcon 在 RealSSA-Sim、LRS2-2Mix、LRS

Elorian 发布视觉推理模型 Glimpse 与 DecoyCount 基准

Elorian 发布首个视觉推理模型 Glimpse，并联合 Mercor 推出 DecoyCount 基准，测试模型是真正计数物体还是依赖视觉捷径。论文显示前沿模型在该基准上准确率均低于 50%，最高为 GPT-6 Astra 的 43.17%，而 Glimpse 内部测试得分为 50.48%。Elorian 由前 Google DeepMind 研究员

Mistral 发布万亿参数编码模型 Le Chonk，整体仍落后中国开源模型

法国 Mistral 发布其迄今最大模型 Mistral Large 4（代号 Le Chonk）的权重，约 1 万亿参数、每步激活 520 亿，采用修改版 MIT 许可，可在自有硬件上运行。该模型在编码基准上领先开源模型，但 Artificial Analysis 智能指数仅 26 分，落后于 DeepSeek V4.1 Flash、GLM-5.3 等中国

另有 1 家信源报道

Agno v3.1.12：Harness Agents 原生审批与多项修复

Agno 发布 v3.1.12 版本，新增 Harness Agents 原生审批功能，使 Claude 和 Codex 的权限请求可直接进入 AgentOS 审批界面，并以 PAUSED 状态持久化运行。同时支持创建初始禁用的 Company Routine、为图表添加标题数字，并修复 FastAPI 原生追踪、Routine 取消状态和 Accuracy

Gemini 4 Carbon 登顶基准榜，面向网络安全防御者首发

Google DeepMind 发布 Gemini 4 Carbon，距上一代 Argon 仅两周，在 Artificial Analysis 综合基准上登顶第一，并在网络安全与长周期任务上被定位为最先进模型。该模型先通过 Fairwind Program 向可信网络安全防御者开放，开发者广泛访问时间未定。定价为每百万输入/输出 token 2/10 美元（

数绷带：论如何衡量 AI 节省的时间

该论文提出用「账本视角」而非「秒表视角」衡量 AI 节省的时间，将时间节省与逃逸缺陷（excess escaped defects）结合，并给出决策指标「盈亏平衡缺陷成本」。作者复现 METR 开发者研究，发现同一批 246 个问题因估计量不同可得出 19% 或 24% 的减速结论；并指出在 GDPval 的逐项审查流程中，仅审查时间就限制了 GPT-5 的

谷歌发布 Gemini 4 Carbon，全面超越 Opus 5.5 并首发半价

谷歌发布新旗舰模型 Gemini 4 Carbon，在 Artificial Analysis 智能指数 5.0 中以 59 分登顶，超越 Claude Opus 5.5 和 GPT-6 Astra，并在终端工程、超长上下文、漏洞挖掘与修复等多项基准上领先。该模型主打长程自主编程与网络安全防御能力，宣称将作弊成功率压至 0.0%、实现提示词注入 100% 免