评测与基准

NaiveAI 宣称每秒 2100 tokens，编码能力实测如何？

Latent Space 评测了中国公司 NaiveAI 推出的开源权重模型 Naive-N0.5-Flash，该模型基于小米 MiMo-V2.5 继续训练并适配 DeepSeek 稀疏注意力，主打高速生成（宣称约 2100 tokens/秒）。在 30 道不同难度题目的测试中，其吞吐接近或超过 1000 tokens/秒，中位响应时间 3.1 秒快于 De

Gemini 4 Carbon 正式开放，谷歌预览智能体集群功能

谷歌在两周测试期后正式开放 Gemini 4 Carbon，该模型与 Gemini 4 Argon 互补，面向多步编码、调试和开放式科研等任务，但推理消耗更多 token。谷歌同时预览 Antigravity 的 /swarm 功能，可将单条提示转为协同工作的智能体团队。不过 Anthropic 新发布的 Fable 5.2 在 Artificial Ana

另有 1 家信源报道

Gemini 4 Carbon 正式发布

Google DeepMind 发布 Gemini 4 Carbon，面向开发者、企业、科研人员和消费者开放，主打网络安全能力与长周期智能体工作流。Carbon 在 CursorBench 4.0、Perplexity WANDR、Zapier AutomationBench 等基准上排名第一，且单任务成本比次优外部模型低 2 倍以上。同时预览 Google

另有 1 家信源报道

Google 发布 Gemini 4 Carbon，推出智能体“蜂群”功能

Google 向公众发布最新 AI 模型 Gemini 4 Carbon，此前两周该模型仅向部分“网络安全防御者”开放。Google 称 Carbon 是其“最强模型”，可对标 Anthropic 与 OpenAI 的顶级系统，并预览了智能体开发平台 Antigravity 上的“swarm”功能，可将单条提示转化为协同工作的智能体团队。Carbon 通过

Anthropic Fable 5.2 真实自由职业任务完成率达 41%

Anthropic 的新模型 Fable 5.2 在 Scale Labs 与 CAIS 的 Remote Labor Index 基准上完成 41.3% 的真实自由职业项目，远超一年前 Manus 的 2.5% 和今年 7 月 Fable 5 的约 16%。该基准包含 240 个来自 Upwork 的真实项目，总价值约 14.4 万美元，由人类专家在专业软

Langfuse v4.78.0 发布：新增 RBAC、外部评估分发与 AI Gateway 增强

Langfuse 发布 v4.78.0，主要新增 RBAC 成员关系镜像与 USER API key 作用域、外部 HTTP 代码评估分发器、AI Gateway 全环境支持 Bedrock 与自定义模型、Topics 追踪过滤与规则地图夜间重拟合等能力，并修复 AI Gateway、评分、查询 AST 等多处问题。该版本为开源 LLM 可观测与评估平台的功

LLM 可靠性层实测：准确率、产出率与验证的边界

InfoQ 报道了一项针对 LLM 可靠性层的实测研究：作者在 CADEC 药物不良事件语料上叠加六种校验层（确定性检查、重试、投票、模型评审、拒答、人工复核），发现这些层主要按可信度对答案排序，却几乎不修正错误，准确率并未随层数增加而提升。实验还显示，模型从记忆中回忆 SNOMED 编码时有 13% 至 18% 的编码并不存在，而从候选菜单中选择的得分高十

openJiuwen首发TTSE双轨自演进经验学习框架

openJiuwen提出TTSE（双轨自演进）经验学习框架，借鉴认知科学中陈述性知识与程序性知识的区分，将Agent经验分为FACT（环境事实）与TIP（条件式技巧）两条轨道，通过冷启动、在线增量演进（归因、退役、矛盾分析合成、归纳）循环更新经验库。该框架在ALFWorld、ScienceWorld、GDPevo、SOPBench、PinchBench五个基

Fable 5.2 重夺全球最强 LLM 宝座，Anthropic IPO 路演启动

Anthropic 发布 Claude Fable 5.2 与 Claude Mythos 5.2，在 Artificial Analysis Intelligence Index v5 上以 65 分重回全球第一，超过 Gemini 4 Carbon 的 60 分。新模型单 token 价格下调 20% 至每百万输入 8 美元、输出 40 美元，但因大量生

另有 2 家信源报道

2026拓扑深度学习挑战赛：统一评估GNN与TNN

该论文介绍了2026年拓扑深度学习挑战赛（TDL Challenge 2026），由G. Bernárdez等人组织，在第二届TAG-DS会议上举办。挑战赛要求参赛者在TopoBench中实现图神经网络（GNN）和拓扑神经网络（TNN）的最新架构，并在GraphUniverse生成的合成基准上统一评估。最终收到来自34支团队的68份合格提交，首次引入公开排行

同伴记忆改变 LLM 智能体咨询对象，但未检测到答案准确率提升

该研究提出 PeerMem，将 MACE 中用于同伴选择的 LinUCB 状态持久化保存，并在相同智能体再次出现时复用。实验使用六个智能体、80 道 HotpotQA 问题，对比冷启动、热启动与打乱初始化三种条件，发现热记忆降低了事后遗憾并增加了对其他证据持有者的咨询，但最终答案 F1 的差异仍不确定。在 Qwen3.5-9B 上进一步测试角色重分配场景，主

NormGym：通过社交互动评估智能体的规范能力

研究团队提出 NormGym，一个用于评估智能体规范能力（normative competence）的多智能体交互基准：新加入的智能体需在完成自身任务的同时，从其他智能体的行为和公开制裁中推断出社区隐藏的任意规范，并在新情境中应用。实验显示最强 LLM 的任务与合规联合成功率仅 55.3%，模型能根据自身受到的制裁调整行为，却难以利用他人的行为和制裁推断规范

DramaGrow：审计多集剧 LLM 评审的 regime-aware 基准

北京理工大学与黑龙江大学的研究者提出 DramaGrow，一个面向 AI 生成中文五集剧的 regime-aware 基准与审计协议，将可验证约束违规、五分之四偏好和评审组内分歧分入不同分母与证据规则。基准包含 800 集、120 个字节保持干预和 1,155 条盲评五人记录。在冻结集上，重复绝对评分 rubric 的偏好准确率仅 53.8–55.8%，而

计划变更时：动态多智能体协调的战略世界测试平台

该论文提出名为 Strategic World 的图结构仿真测试平台，用于研究多智能体在目标动态变更时的协调问题。平台将权威目标、本地计划、通知接收与实际行动分离，设计了六类干预场景，并通过脚本化轨迹和本地语言模型试验表明：相同的完成与确认摘要可能掩盖未获知信息下的过时工作、收到通知后仍执行过时任务或受阻的不安全意图。在16个回合的对比中，优先处理待处理通知

BIBIMBAP：面向BIM自动化编程的指令基准

研究者提出 BIBIMBAP，一个面向 Text-to-BIM 的基准，包含 100 个覆盖增删改查（CRUD）操作的任务，涉及空间、几何、拓扑、数值和概念类别。每个任务提供自然语言提示、IFC 模型、期望的结构化输出和自动化测试脚本。基线结果显示最佳性能仅 50.2%，模型在约束保持和空间推理上频繁失败，部分正确输出还伴随错误推理。

基于方面成对锦标赛的测试时选择方法

该论文提出 Aspect-wise Pairwise Tournaments（APT），一种无需训练的测试时选择方法：从生成器 LLM 采样 n 个候选解，通过单败淘汰赛两两比较，每场比赛由多个现成的方面验证器按各自维度投票决定胜者。在五个领域、三个生成器 LLM 上，APT 在 15 组生成器-领域组合中的 14 组优于自一致性、奖励模型验证和二元多维度批

因果发现基准：LLM 能否自主开展有效实验？

该论文提出 Causal-Discovery-Bench，一个可验证沙盒，用可配置的结构方程模型和资源约束评估 LLM 智能体自主设计实验、进行因果发现的能力。研究覆盖 5 家厂商的 13 个模型、3802 个回合，发现智能体 94.5% 的错误源于实验设计而非因果推断，且单纯放宽资源约束不能可靠解决顺序发现失败。基础统计工具能显著提升多个模型家族的表现，而

贪心即排序：新颖性指标的精确且可认证理想排序

该论文研究新颖性排序指标（α-nDCG、ERR-IA）中理想排序的计算问题。作者发现，当每个文档最多只对一个意图有正增益（行支持为一）时，理想排序可精确且高效地计算：通过指标特定的虚拟分数变换与多路归并（ChainMerge），在 O(n+K log G) 时间内得到全局最优 top-K 排序，替代 NIST ndeval 等实现中 Θ(nK) 的贪心近似。

从提示工程到程序化提示：面向大模型的软件工程学科

这篇 arXiv 论文主张区分「提示工程」与「程序化提示」：前者是人在对话中实时调整措辞的交互技巧，后者是把提示当作一等软件工件进行构建、组合、版本管理、测试与维护的工程学科。作者给出程序化提示的定义，系统区分其与提示工程、提示微调、微调及一般 LLM 应用开发，并提出「提示债」概念，区分代码中可度量的显性债务与只在事故中暴露的隐性债务。文中引用 Grok

Forge Decision Context：AI 智能体的持久行为学习

该论文提出 Forge Decision Context（forge dc）系统，从人类纠正和工具调用失败中捕获行为信号，编译为规则指令并在决策点注入，以解决 LLM 智能体跨会话不学习纠正的问题。作者同时发布 DC-Bench 基准（71 个场景、9 个行为维度），forge dc 达到 95% 合规率，而朴素检索仅 55%，且每次查询注入的 token