评测与基准

DeepSeek V4.1 Flash 领跑开源权重，MiniMax、Mercury 3、Meta Muse 同期发布

DeepSeek 发布 V4.1 Flash 1017 开源权重 MoE 模型（552B 总参数/16B 激活、1M 上下文、MIT 许可），在 Artificial Analysis 智能指数上升 6 分至 45，与 GLM-5.3 并列开源第二，并在 Code Arena 与 Agent Arena 中成为排名第一的开源模型。同期 MiniMax 推出

ROAR：实时约束下多人射击游戏中的LMM智能体基准

研究团队提出 ROAR，一个多人动作射击游戏环境，用于在实时约束下评测基于大型多模态模型（LMM）的智能体。现有基准多为回合制，推理时环境与其他智能体暂停，掩盖了实时决策挑战。ROAR 采用多智能体异步 Gym 接口，将环境与各智能体分线程运行，支持合作、竞争、混合及单智能体场景，并提供多模态观测与轻量部署。

SWE-Bench Pro V2：更干净、更难作弊的编码基准

Scale AI Research 发布 SWE-Bench Pro V2，对原 731 个公开任务进行审计与修复，最终保留 642 个任务并新增 51 个任务的 Hard 子集。23 名工程师投入 404 小时修复或淘汰 480 个任务，并通过限制网络访问、在干净容器中重新评分来防止作弊。结果显示 Claude Opus 5 在 V2 上解决率达 99%，

Agentic Interpretation：harness 治理的软件智能体证据构建

论文提出 Agentic Interpretation (AgInt) 框架，让模型提出类型化记录，由确定性 harness 负责准入、评分与持久化，并仅在证书满足任务义务时放行答案。在 SWE-bench-Live、DeepSWE、Defects4J 和 GitBug-Java 上，AgInt 在补丁接受度指标上优于普通 agent 与 Agentic C

GardenBench：轻量级每日 LLM 能力评测基准

研究者提出 GardenBench，一个包含 11 个测试套件、105 项测试的轻量级 LLM 基准，通过每日自动运行（GitHub Actions）评估 Anthropic、DeepSeek、OpenAI、Google、Moonshot AI、阿里云和 Cohere 等厂商的前沿模型，记录准确率、成本与耗时的逐日变化。该基准旨在弥补模型卡由开发者自评、一次

团队协作的权重：通信结构能否帮助 LLM 科学家寻找科学定律？

该论文以符号回归作为可观测的科学搜索任务，在固定调用预算下比较了不同通信结构（Independent、Ring、Star、Complete）的 LLM 多智能体团队，并分别评估其候选表达式存档与最终选出的表达式。结果显示，将预算分散到更多独立轨迹带来的提升最大（平均留出拟合分数提高 0.70），而 Ring 策略在统一存档选择器下比 Independent

少做多得：智能体计算与替代架构选择的第一性原理探索

南卡罗来纳大学人工智能研究所与印度AI研究组织发表论文，在1000个算术表达式基准上对比七种功能调用架构：原生函数调用、REST、SOAP、MCP微服务、Groq云API与五个本地Ollama大模型直接作答、以及本地LLM调用MCP工具的智能体系统。结果显示确定性方法准确率100%且延迟可忽略，直接LLM作答最高准确率92.9%但延迟超22000倍，最佳MC

候选依赖残差路由在序列推荐中以顶部精度换召回

研究者在一个基于SASRec的自注意力序列推荐基线之上，加入一个小型残差路由模块，并对比两种版本：路由权重由用户历史表示决定（用户依赖）或由候选物品嵌入决定（候选依赖）。在REES46化妆品商店数据集上用五个配对随机种子做全目录评估，候选依赖路由对NDCG@10几乎无影响（平均相对变化+0.003%），但召回率提升1.81%，而首个相关物品的平均倒数排名下降

Hugging Face 政策负责人：嵌入式 AI 评估者并非易解方案

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，当前 AI 模型评测方法仍不成熟，可复现性存疑，评测之间难以有效比较，且失效速度快。她指出业界对「嵌入式评估者」（第三方观察员进驻 AI 机构）需求旺盛，但评估者资质标准亟需统一；同时评测对象正从模型本身扩展到包含 harness 与 age

OpenAI API 现三个 Aurora 神秘模型，或为 GPT-Image-3

OpenAI API 模型列表中短暂出现 aurora-red-alpha、aurora-green-alpha、aurora-blue-alpha 三个模型条目，随后被移除；测试者在 AI 模型评测平台 Arena 发现同名图像模型，并晒出红、绿两版生成的猫咪图片。外网测评博主 Lumina 推测这可能是 GPT-Image-3，并称红版生成更快但画质稍逊

MiniMax M3.1 Flash发布，正面硬刚DeepSeek V4.1 Flash

MiniMax于10月19日正式发布M3.1 Flash轻量级模型，定位Coding/Agent优化，拥有100万token上下文，输出速度可达200+TPS，输入/输出价格分别为每百万Token 1元和4元。该模型在Agentic任务、编程、Computer Use及网络安全等基准测试中与两天前上线的DeepSeek V4.1 Flash-1017基本追平

另有 2 家信源报道

Agno 发布 v3.1.6：评估用例支持运行参数

Agno 发布 v3.1.6 版本，为评估用例（Eval Case）新增运行参数支持，可传入 session id、user id、metadata 等并转发给 agent 或 team 运行，input 还支持 Message 以附带图片或文件。同时改进 OS Manager 直接查询 Agno 文档、优化结果卸载的搜索与回读，并修复 ParallelTo

BizBench：揭示长程智能体在真实商业部署中的隐藏挑战

研究团队发布 BizBench，一个基于某领先支付公司真实业务流程构建的多轮长程智能体基准，包含 789 份知识文档、601 个可发现业务工具和 50 个任务，用于评估智能体在支付等高风险场景中的中间执行合规性。实验显示，前沿模型表现有限：Claude Opus 5 与 GPT-6 Sol 的严格成功率仅为 64.0% 和 61.3%，Qwen3.8-27B

OpenAI 推进低资源编程语言编码能力

OpenAI 正在改进 ChatGPT 对低资源编程语言的支持，并新增了针对软件工程、SQLite 和 COBOL 迁移的评估。

播客：本地优先应用与端侧小模型，AI 智能体将动态生成 UI？

前 React 核心团队成员 Rachel Lee Nabors 在 InfoQ 播客中介绍其本地优先社交聚合应用 Mima，该应用在设备端运行小型语言模型（如 Llama 3.2B）而非云端大模型封装，以降低 API 成本、减少延迟并保护用户隐私数据。她强调用黄金数据集系统评估模型以匹配摘要、审核等具体任务，并展望操作系统级个人智能体及 A2UI 等动态

GPT-6-Astra 是否已实现具身智能？

该论文评估了 GPT-6-Astra 在机器人操作与导航任务中的具身智能表现，在 12 个基准上通过上下文学习取得前所未有的性能。研究指出，高层 System 2 推理器与低层 System 1 控制器的闭环协调虽成本高但有效。真实部署在 8 种机器人配置上暴露出演示数据采集昂贵、执行时间受物理约束等差距，结论是 GPT-6-Astra 已基本跨过具身能力门

Muse Wonder 3D 建模翻车，亚历山大·王辩护遭马斯克补刀

Meta 发布 Muse Wonder 与 Muse Wonder Full，主打 Coding Agent 和长任务执行，官方称 Wonder Full 在 SWE-Marathon 得 57.5 分、DeepSWE 1.1 得 79.0 分。开发者社区 BridgeMind 用 3D 熔岩灯任务测试普通版 Muse Wonder，结果明显失败，质疑其存在

Jev-as-a-Judge 用于巴西葡萄牙语信息检索：相关性评估与重排序

该研究评估了 TypeSafe AI 推出的 System One 模型 Jev 在巴西葡萄牙语信息检索中的表现，将其用作相关性判断生成器和重排序器。在四个巴西葡萄牙语 IR 集合上，Jev 生成的相关性判断与官方人工判断的完全一致率为 52.9%–64.9%，二次加权 Cohen's κ 为 0.52–0.82，且至少 94.5% 的标注完全一致或仅差一个

从平行到分歧：语言模型对动名词化构式的学习

该研究利用语法工程方法构建了96种合成语言，每种语言在从句语序、名词短语语序、配列系统、补语系统和动名词化策略上有所不同，并用BabyLM语料作为共享语义输入，从零训练GPT-2-small模型。通过覆盖34种语法现象的定向最小对评测，发现模型在基本从句配置上表现出与自然语言类型学一致的学习偏好，但在补语系统和动名词化策略上出现分歧，甚至学会自然语言中罕见或

AuditKIT：面向大模型与智能体系统的统一评测框架

论文提出 AuditKIT，一个面向大语言模型与智能体系统的开源评测库，统一了基准评测、模型评判、性能测量、工具使用评估和 RAG 评测接口。它要求每个指标声明 MAXIMIZE 或 MINIMIZE 方向并在比较中强制执行，用 SHA-256 指纹作为缓存与比较键，并将无法获取的证据标记为未评分而非计为失败。作者通过七个案例研究说明答案抽取、服务行为、检索