评测与基准

NVIDIA NeMo Gym 优化芯片设计 Agent 可靠性与工具调用效率

NVIDIA 发布技术博客，介绍其开源库 NeMo Gym 如何用于提升芯片设计 AI Agent 的可靠性。西门子 Fuse EDA AI Agent 团队利用 NeMo Gym 对标准单元表征任务进行端到端评估，通过验证最终 Liberty 文件而非中间步骤，发现并修复了错误传播问题。团队据此改进了 Agent 技能和 MCP 工具描述，使基准综合得分从

Artemis 推出 Orion-1 安全模型，称其攻击调查能力超越通用模型

美国初创公司 Artemis Security 推出专用安全模型 Orion-1，可自主调查并响应企业网络攻击，将来自认证服务、云环境、终端、SaaS 应用和网络设备的日志数据关联到单一攻击者，并给出置信度评分与处置建议。在自建 Decision-Grade Readiness 基准上，Orion-1 在攻击重建任务得分 80.8，高于 Claude Opu

用 Amazon SageMaker JumpStart 部署与评估模型

AWS 官方博客介绍如何使用 Amazon SageMaker JumpStart 部署和评估预训练模型。文章给出可复用的 Python 脚本流程：从 JumpStart 目录发现并部署模型、用示例提示词测量延迟与生成速率、测试完成后删除端点。2026 年 JumpStart 新增 Model Hub 浏览体验、面向低成本/低延迟/通用场景的预配置端点部署选

Gemini 4 Argon 正式发布，独立评测与 Muse Wonder 同期亮相

Google 的 Gemini 4 Argon 正式 GA，面向编程、知识工作、企业工作流和网络防御开放，API 定价为每百万输入/输出 token 2/10 美元，11 月 30 日后翻倍。Google 内部称 Argon 帮助将 Chromium 六百万行遗留代码分离，数周完成数月工作，并减少近三分之一回滚。独立评测显示 Argon 在智能指数上与 GP

CrewAI 发布 1.15.28：新增 eval 命令并修复多项问题

CrewAI 发布 1.15.28 版本，新增 crewai eval 命令用于定位模型中断位置，并改用 LiteLLM 目录获取上下文窗口。该版本修复了流程恢复人工反馈、部署失败原因展示、RAG 本地 JSON 的 UTF-8 BOM 解码、OpenAI GPT-6 Sol/Luna/Astra 图像输入等问题，同时更新了 MongoDB 与 AGENTS

SWEeper-Bench：智能体能否发现交互式软件中的 bug？

该论文提出 SWEeper-Bench 基准，包含 200 个来自真实开源 Web 应用 bug 修复的任务，要求编码智能体仅凭代码库和开放式请求自行发现并修复依赖多步交互才能触发的 bug。评估显示 15 个前沿智能体中最佳仅通过 59.0% 任务，主要瓶颈在于识别 buggy 行为而非修复本身；若给出详细 bug 描述，通过率升至约 96%。该基准将编码

场景即攻击面：揭示MLLM中基于场景的安全失效

该论文发现多模态大语言模型（MLLM）存在一种新的安全漏洞：仅凭任务相关的场景语义（而非显式有害指令或对抗性视觉信号）就能使模型从拒绝转为顺从。作者将这一失败形式化为「场景接地视觉安全漏洞」，并构建了包含 400 个图文对、覆盖八类风险的 SceneSafetyBench 基准，在九个白盒与黑盒 MLLM 上评估。基于此提出 Scene-Grounded A

System One 模型在印尼区域语言上的校准与迁移评估

该研究对商业模型 Jev 和开源模型 Laya-multilingual 在印尼区域语言上进行了预注册评估，使用 NusaX 和 NusaTranslation 平行测试集。结果显示 Jev 在词汇上更接近印尼语的句子上准确率更高，提供印尼语翻译可提升准确率最多 37.2 个百分点；其校准误差未增长但错误排序能力下降。重训练分类器需每语言超过 500 个标签

PsyBer-Agent：心理学驱动的推荐系统用户模拟器

研究者提出 PsyBer-Agent，一个心理学驱动的用户模拟器，通过 Psy-Engine 建模认知、情感/社会满意度与自我一致性三个演化隐状态，用于推荐系统部署前评估。该方法利用非平衡 Gromov-Wasserstein 最优传输将离线日志轨迹对齐为轻量在线策略的监督信号，无需微调骨干 LLM。作者同时发布 WebSim 平台与 PsyBer Benc

OpenMobile-2：开放环境与工具打造通用移动智能体

研究团队发布 OpenMobile-2，一个开放训练环境与配方齐备的移动智能体。其构建了 MobileGym++ 模拟环境，包含 35 个高保真商业风格应用，并与 Android 模拟器应用合计覆盖超 110 个应用；同时开源近 1.2 万条交互轨迹和超 2000 个可验证强化学习任务。该智能体在 AndroidWorld 达 79.9、MobileWorl

未来可预测吗？面向可靠时间推理的未来可预测性建模

研究提出 ChronoRegime 任务，要求模型判断历史时间证据是否足以支持对未来事实做出预测，并据此提出 Confidence-Aware Temporal Reasoning（CTR）框架，从时间动态中估计未来可预测性并调节回答承诺。在 LLaMA-3.1、Qwen3、GPT-4o 等模型上，CTR 相比普通问答基线平均提升严格总体准确率 6.7 个百

SEPM：基于任务图的自演化程序记忆用于多智能体协作

该论文提出 SEPM（自演化程序记忆）框架，以任务依赖图作为多智能体在线协调与程序记忆演化的统一表示。执行中通过共享黑板记录结构化证据与任务依赖，检测目标、计划与世界状态偏差并基于证据重对齐；执行后将验证过的动作与依赖蒸馏为可复用程序，失败则转为警告与约束，程序池经创建、精炼、特化、退役演化。在 ALFWorld、WebArena、OfficeBench 上

Anthropic 公布 2026 美国中期选举保障措施

Anthropic 发布博客，介绍其为 2026 年美国中期选举所做的准备。公司基于 25 万条对话分析发现，美国 Claude.ai 对话中约 5.75% 涉及政治议题，0.51% 涉及选举或投票，违反选举诚信政策的请求仅占 0.002%。Anthropic 将接入 Democracy Works 的官方投票信息并在选举夜展示实时结果，同时称 Claude

Meta发布Muse Wonder系列模型，主打智能体任务

Meta发布首个前沿模型系列Muse Wonder，包含Muse Wonder和Muse Wonder Full两个型号，重点面向个人与专业智能体任务，引入主动记忆和主动专注能力。在DeepSWE 1.1、SWE-Marathon等长流程编程测试中，Muse Wonder Full得分超过Claude Fable 5.1、GPT-6 Astra和Claude

另有 2 家信源报道

Google 正式发布 Gemini 4 Argon 模型

Google 正式发布 Gemini 4 Argon 模型，声称在编程、网络安全、科学、金融和法律等基准测试中超越 GPT-6 Astra、Claude Fable 5.1 和 Claude Opus 5.5。该模型已内部用于发现和修补安全漏洞、将 YouTube 评论区算力减半以及调试 Wing 无人机物理模拟器。Argon 面向 Gemini 应用和搜索

另有 1 家信源报道

AgentSWE：编码智能体能否构建你真正想要的智能体？

该论文提出 AgentSWE，一个面向智能体软件工程（agent software engineering）的基准测试，覆盖智能体开发生命周期的三个阶段：从自然语言需求创建完整智能体、编辑生产级智能体代码库、以及面向可量化目标的优化。其 25 个任务被设计为“委托”而非“考试”，构建者只能针对少量示例迭代，而验收则在覆盖完整需求的留出用例上以硬性通过/失败门

QCon AI 纽约 2026：智能体、评估与 LLM 成本的生产实践

QCon AI New York 2026 将于 12 月 15-16 日在新泽西举行，已确认多位资深工程师的演讲，聚焦 AI 进入生产环境后的实际问题：智能体的身份与授权、评估体系、LLM 成本控制以及 AI 生成代码的审查瓶颈。演讲者来自 AWS、LinkedIn、DoorDash、Netflix 和 Google Cloud，分享各自在生产系统中积累的

魔法原子具身Agent框架EchoPolicy-0登顶MolmoSpaces全球第一

魔法原子（Magic Atom）旗下MagicLab Studio的具身智能Agent框架EchoPolicy-0在AI2发起的MolmoSpaces零样本评测基准Combined榜单上以75.4%的平均成功率位列全球第一，覆盖全部4个v1任务；其自研3.4B参数框架MagicBrain以72.4%位列全球第四，抓取成功率达94.4%。EchoPolicy-

Meta 发布 Muse Wonder 与 Wonder Full 前沿模型

Meta Superintelligence Labs（MSL）发布第二代模型家族 Muse Wonder 与 Muse Wonder Full，定位为面向个人与专业 agentic 工作的前沿模型。第三方评测显示 Wonder Full 在 Intelligence Index v4.3 得分 56，接近 Opus 5.5 的 58，并在多项 agenti

另有 2 家信源报道

上海具身智能技能大赛10月开赛，9大赛道23个赛项邀千队比拼

上海将于2025年10月23日至25日举办国际具身智能技能大赛检阅赛，基于工信部征集的千余条具身智能应用场景数据，设置生产制造、检测分析等9大赛道共23个赛项，计划吸引千余支队伍参赛。大赛采用真实场景、真实岗位任务和真实作业数据的'三真'考核标准，并设四维百分制评审。获奖队伍可获得奖金、千万级意向投资及融资辅导，成绩还将贯通GDPS秋季大会、迪拜中东AI展和

另有 1 家信源报道