评测与基准

权重空间编程引热议，腾讯 Hy4 与多个开放权重模型发布

Latent Space 的 AINews 汇总了 2026 年 11 月初的 AI 动态。核心话题是「权重空间编程」：多个团队复现了前沿大模型直接生成或编辑小型神经网络权重的能力，例如 GPT-6 Astra 在无反向传播的情况下编辑 Qwen3.5-0.8B 的权重，将 MATH-500 准确率从 7.9% 提升到 48.1%，但知乎的复现分析指出，增益

在 Amazon Bedrock AgentCore Evaluations 中使用决策模型

AWS 博客介绍如何在 Amazon Bedrock AgentCore Evaluations 中通过代码型评估器接入决策模型（decision model），用于对智能体进行评分。文章对比了决策模型与 LLM-as-a-judge 的差异：决策模型针对固定选项返回校准后的概率分布，适合窄而可重复的判断；LLM 评估器则提供解释与深度分析。示例将 Type

CyberArena：在实时对称攻防对抗中评测 AI 智能体

UC Berkeley RDI 等机构的研究者提出 CyberArena，一个面向 AI 安全智能体的实时对称攻防基准。与传统的单角色、固定目标 jeopardy 式测试不同，CyberArena 让两个智能体在三个回合中互相攻击对方存在漏洞的服务，同时修补自己的服务，并由竞技场独立验证每次攻击和健康检查。研究者在 12 个前沿模型、40 个挑战上进行了 4

新开源基准揭示推理是AI云运维的最大瓶颈

密歇根大学Ang Chen团队发布开源基准CloudOpsBench 1.0，包含45个AWS云上DevOps任务，用于评估AI智能体处理修复服务、删除资源、限制权限等典型运维任务的能力。测试中表现最好的Claude Fable 5.1仅解决60%的任务，GPT-6 Astra解决53%。团队分析发现约80%的失败源于推理问题（误判任务范围、未检查所有相关服

用 NVIDIA NeMo 将智能体失败转化为测试并修复

NVIDIA 发布技术博客，介绍如何用 NVIDIA NeMo 工具链把智能体在生产环境中的失败案例转化为测试用例并修复。流程包括用 NeMo Compass 分析 42 条 Hermes 智能体轨迹，发现其在未获用户确认时调用 send message 工具的问题；再用 NeMo Eval Author 生成 Harbor 评估与验证器复现该失败；最后修改

招商局狮子山实验室发布具身推理模型驭物 Lion-ER-35B-A3B

招商局先进技术研究院下属狮子山人工智能实验室发布具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」，采用MoE架构，总参数约35B、每Token仅激活约3B。该模型以能力蓝图和Eval-Driven Data Harness数据迭代机制替代盲目堆砌数据，在十项具身相关公开基准上全部指标提升，部分超过更大参数量模型。模型已在Hugging Face

Gemini 4 Carbon登顶榜单却致谷歌市值暴跌

谷歌发布Gemini 4 Carbon，在17项基准测试中15项第一并重回AA智能指数榜首，但发布后Alphabet股价一度大跌约10%、市值蒸发3000至4000亿美元。该模型是在Gemini 4 Argon底座上做的专项增强版本，主打安全与长任务能力，但幻觉率从4%升至11%，通用编程等核心赛道仍落后于Claude Opus 5.5和GPT-6 Astr

大型推理模型早停方法综述与效率可靠性实证审计

该论文对大型推理模型（LRM）的早停方法进行了综述与实证审计，在五个推理模型上覆盖数学、科学推理、代码生成和事实性任务，采用共享 rollout 重放协议评估。作者提出 Target-Integrated Token Efficiency（TITE）指标衡量相对 oracle 的效率，并发现后续位置的正确率可能低于解码噪声模型预测，强制终止后模型仍会继续推理

超越分工：角色如何影响多智能体系统的反馈与恢复

该预印本论文研究多智能体大语言模型系统中角色对反馈与失败恢复的影响。作者在Planner–Executor–Reviewer团队中固定智能体、拓扑、调用预算和评估器，仅改变角色指令，在Omni-MATH和SciBench上测试多个开源权重模型。发现删除角色几乎不降低首轮准确率，但角色结构中的Reviewer常拒绝提交，导致团队获得的外部反馈更少、失败后恢复率

FlowBench：面向空间智能的反事实想象训练基准

研究者提出反事实空间想象（CSI）任务，并发布 FlowBench 数据集与基准，包含约 42.8 万条训练样本，覆盖模拟家庭场景与真实桌面操作。实验显示，闭源视觉语言模型在需要推断运动结果时表现下降，开源模型接近随机水平；在 FlowBench-Sim-Train 上微调 Qwen3-VL-8B 后，模拟场景准确率提升 29.5 个百分点，真实图像提升 1

编码智能体是否遵循 AGENTS.md？策略措辞对指令遵循的影响

奈良先端科学技术大学院大学等机构的研究者研究了编码智能体是否遵循 AGENTS.md 等 Agent Context File（ACF）中的策略，以及策略措辞风格对遵循率的影响。他们在 86 个基准任务、四种 harness–模型组合中，将同一条策略以四种风格插入 ACF，发现条件式措辞的遵循率低于规定式和解释式，而规定式与解释式孰优孰劣因组合而异。该研究表

用检索增强生成提升股票市场信息检索

该研究构建了一个面向股票市场信息的检索增强生成（RAG）系统，将检索方法与生成能力结合，以提升金融文本生成的准确性和相关性。研究使用 ROUGE-1、ROUGE-2 和 ROUGE-L 指标在 100 条股票市场相关查询上评估系统，结果显示 ROUGE 分数较高，平均响应时间为 1.16 秒。作者认为该系统能够提供准确及时的股市洞察，是金融信息检索的一种有前

隐式品牌注入：对抗性GEO的新威胁

研究者提出隐式品牌注入（IBI）多智能体框架，通过在文章中加入单句上下文融合的品牌提及，在不显促销的前提下影响生成式搜索引擎的检索与回答。团队构建了含1000篇文章、60个合成品牌、覆盖12个领域的IBIBench基准，并对比直接提示与Best-of-N基线。结果显示IBI在语义保持和困惑度扰动上更优，Hit@10最高达82.2%，品牌提及率与条件传播率分别

AI已占软件工程顶会过半论文，但研究仍以应用为主

该研究对ICSE、FSE、ASE三大软件工程会议2018至2026年的4790篇研究论文进行普查，发现到2025年AI已出现在过半论文中，AI贡献了93.1%的论文增长。但LLM浪潮主要改变的是研究工具而非问题边界：92.6%的LLM相关论文仍在重访既有软件工程问题，95.7%的AI论文属于应用或评估支持，仅4.3%质疑该范式或探索替代方案。结合244名研究

可灵发布技术报告：视频生成背后的多模态理解观察与洞见

快手可灵（Kling）团队发布技术报告，总结多代视频生成系统在多模态理解方面的观察与洞见。报告提出视频生成瓶颈正从渲染转向语义控制，并以统一图像、视频、音频等输入的多模态基础模型 Kling-MLLM 为核心，逐模块梳理数据、条件化、对齐、评估全链路，涵盖高密度与参考锚定式描述生成、提示词增强、感知训练得到的文本编码器、奖励建模及任务特定自动评估。报告希望为

RoboColosseum：大规模真实环境下的物理智能评估框架

研究团队提出 RoboColosseum，一个分布式机器人策略评估框架，通过统一策略服务与标准化协议，在 124 个站点、多种真实环境中对 5 个视觉-语言-动作（VLA）策略和 3 个前沿 AI 智能体进行评测，覆盖 SO-101、Franka、Bimanual-YAM 和 G1 Humanoid 四种本体。结果显示，前沿智能体在零样本条件下可与专用 VL

OpenAI 称 GPT-6 Astra 一周内从零设计出硬件设备

OpenAI 称其硬件团队使用 GPT-6 Astra 设计了一款让用户与 Codex 编程智能体对话的设备，作为副项目在不到一周内完成，Astra 承担了外壳设计、PCB 布局与元件选型、走线、固件和用户界面等全部环节。代工厂在不到一个月内生产出小批量原型，但因 Astra 未充分考虑制造约束、公差和装配细节，经历了多轮修改。OpenAI 还披露一个未公开

另有 1 家信源报道

研究发现：LLM 发展速度已超出解释它的研究

斯坦福研究者 Owen Queen 与 James Zou 检验了 50 条被广泛引用的 LLM 结论，在 20 个模型上复测后发现 44% 已「过期」，有预估期限的 22 条结论平均寿命仅 15.7 个月。关于模型「做不到什么」的结论失效最快，而偏好与倾向类结论更持久；幻觉引用等能力缺陷在部分新模型上消失，但不同模型间差异巨大。研究者据此呼吁论文应标注具体

同一模型不同 Harness：CUGA、Hermes 与 Deep Agents 对比

IBM 开源了 CUGA（ConfigUrable Generalist Agent）harness，并在 AppWorld 基准的 90 个任务上，用同一开源模型 GLM-5.3-flash 对比了 CUGA、Nous Research 的 Hermes 和 LangChain 的 Deep Agents。结果显示，仅更换 harness 就让任务完成率从

LLM 可直接读写神经网络权重，RSI 能力实现从 0 到 1 突破

Latent Space 报道了一篇关于「权重空间编程」的论文：研究者让大语言模型直接读取并编辑较弱模型的神经网络权重，无需编写 PyTorch/JAX 代码或运行训练流程，即可识别权重功能、根据失败轨迹一次性修复缺陷，甚至从零生成完整网络权重并超过部分独立训练的模型。该能力被视为递归自我改进（RSI）从 0 到 1 的突破，已有独立复现，但目前仅适用于简单