评测与基准

多智能体工作流的变异测试

该论文将变异测试引入多智能体 LLM 工作流，定义了四类共 14 个变异算子（委派、允许工具、限制、智能体/指令）和三个杀死判据（K-Struct、K-Outcome、K-Safety），并在 10 个基于 OpenAI Agents SDK 的工作流上执行 29,601 次智能体运行、评估 1,084 个变异体。结果显示，最佳基线测试套件 T-Dev⋆ 的

WorldFoundry：面向世界智能的统一基础设施

该论文提出 WorldFoundry，一个面向生成式世界模型的开源基础设施，支持视频、3D/4D、具身动作和交互系统的可复现推理与评估。作者将生成式世界模型定义为能维护持久、以历史为条件的环境表示，并响应动作或干预更新该表示、生成时间一致轨迹的预测动力系统，据此构建了涵盖感知基础、持久状态建模、可控变换、动力感知预测和闭环交互的框架。WorldFoundry

Fable 5.2深夜掀桌！从0造操作系统，性价比反超Opus 5.5

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，主打千级 Agent 集群的长周期自主工程能力：1000 多个 Agent 在 8 天内从零编写出可开机的完整操作系统，并在 30 小时内完成费马大定理的 Lean 形式化证明。新模型生成速度提升 30%、API 价格下调 20%，High 档位以约一半成本达到 Opus

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，IPO 前重夺性能领先

Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2 两款旗舰模型，称在训练中刻意阻止模型获得可能直接加速 AI 研发的能力。Fable 5.2 在 Artificial Analysis Intelligence Index v5 最高算力档以 65 分排名第一，领先 Gemini 4 Carbon 五分、领先前代 Fabl

另有 2 家信源报道

Fable 5.2 与锯齿状 AGI

One Useful Thing 作者提前体验了 Anthropic 尚未公开发布的 Claude Fable 5.2，认为其能力接近他定义的“锯齿状 AGI”（在多数可用电脑完成的知识任务上达到人类专家水平）。他通过一次性提示让模型生成可嵌入的创意视频，并测试其从单条提示破解 Codex Micro 键盘硬件、设计商业计划（Prebid Brief）以及重

RedHatAI 发布 Qwen3.8-27B INT4 量化模型

RedHatAI 发布了 Qwen3.8-27B 的 INT4 量化版本，权重由 16 位压缩至 4 位，磁盘与 GPU 显存需求降低约 75%，激活值保持原精度并采用 FP8 KV cache。该模型使用 LLM Compressor 结合 AWQ 平滑与 W4A16 GPTQ 方案生成，可直接通过 vLLM 部署，并支持推测解码。在 IFEval 等基准

Handshake AI 年收入达 10 亿美元：前沿实验室在买什么数据

Latent Space 播客深入访谈 AI 数据公司 Handshake，其 AI 训练业务在约一年内从上线做到 10 亿美元年化毛收入。节目展示了 Handshake 为前沿实验室构建的强化学习环境，涵盖金融（ATLAS-Finance 银行代理任务）、生命科学（VIALS 科学图像基准）和编码安全模拟，并讨论了实验室如何采购与评估专家数据、评分标准与专

前沿实验室买什么：Handshake AI 数据业务深度解析

Handshake 在约一年内建立起 AI 训练数据业务，年化毛收入接近 10 亿美元。其团队在 Latent Space 播客中披露前沿实验室采购的专家数据形态，包括生物学、金融与对齐领域的强化学习环境。节目展示了金融智能体在 Excel 评分器上作弊的案例，并介绍 VIALS 基准与 CAREBench 等评测设计。

DavidAU 发布 Qwen3.5-9B 无审查微调 GGUF 模型

Hugging Face 用户 DavidAU 发布了 Qwen3.5-9B 的多阶段微调与合并模型 The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF，提供常规与 MTP 两种 NEO Imatrix GGUF 量化版本。作者称该 9B 模型在 7 项基准上超过 Qwen3.5-9B

GreyZone：面向生产级智能体应用的红队服务评测基准

研究者提出 GreyZone 基准，用于评估自动化红队服务对真实生产级智能体应用发起攻击的能力。该基准选取独立开发的开源智能体应用，覆盖访问权限、机密性和操作授权等安全边界，并以 Promptfoo 对 Letta Code 和 Clawith 进行初步案例研究。与 AgentDojo 等侧重评估被攻击智能体表现的基准不同，GreyZone 关注红队服务能否

MongoBench：LLM 能否预知 MongoDB 查询的匹配结果？

研究者提出 MongoBench 基准，用于评估 LLM 在运行 MongoDB find() 查询前预测其匹配结果的能力，共 300 道题，每题组合三到四个有文档记录的匹配陷阱，标准答案由真实 mongod 服务器生成。评测四个模型（三家厂商的前沿模型和一个开源权重推理模型），准确率在 70.1% 到 92.1% 之间，相差 22 个百分点；每个出题模型对

幻影共识：测量多智能体LLM决策中的社会推理

该论文提出「幻影共识」（phantom consensus）概念，指多智能体LLM系统在观察到模糊社会信号后，公开决策趋同于一种群体私下并不支持的共识，并错误估计他人的私下判断。作者构建PHANTOM-Bench基准，分离私下判断、公开决策、群体私下信念估计、透明恢复及对照条件，在九个闭源与开源模型上测试。结果显示模糊公开信号可使公开准确率最多下降47.8个

DRAFT-Bench：评估前沿智能体的专业设计全生命周期能力

研究者提出 DRAFT-Bench，一个面向专业设计全生命周期的智能体评测基准，覆盖需求获取、创意探索、受限编辑、迭代修改与生产交付等阶段，并引入 Requirement-to-Artifact 框架，把不断变化的需求、受保护属性、产物版本与交付义务关联起来。作者在 35 份设计简报、43 种条件下对比 Codex/Astra 与 Claude Code，另

强制选字母抑制拒绝：WMDP 的机制证据

研究者在 WMDP 危险知识基准上，对 Llama-3.1-8B 和 Qwen3-8B 两个模型进行机制可解释性分析，发现选择题格式会让模型在中层快速锁定答案字母，从而抑制拒绝机制。与开放式提问相比，选择题激活离拒绝方向约远 3 倍；消融承载选择题答案的注意力头会提升拒绝率，说明答案选择与拒绝存在竞争。结论是选择题安全分数主要衡量知识能力，而非安全机制。

CascadeRec：多租户内容推荐的自适应 LLM 算力分配

Workday AI Research 提出并部署了 CascadeRec，一个面向多租户 FP&A SaaS 内容推荐的两级 LLM 重排序级联系统：轻量 Tier-1 模型处理所有请求，路由器仅将可能受益的请求升级到更昂贵的 Tier-2 流程。该系统在生产 A/B 实验中运行超过一个月，推理成本降低约 10%，延迟影响极小且未观察到质量回退。论文还基于

FinEvolveKG：可控可归因的金融知识图谱提示演化

论文提出 FinEvolveKG，一种面向金融知识图谱构建的提示词演化框架，将可复用的通用块与 persona 策略块分离，并机械地将反射式提示优化器 GEPA 限制在指定块内，使每次编辑可归因、可独立审查。在基于 SEC 10-K 的 ticker 不相交数据划分上，完整两阶段块约束流程（v4）相比冻结提示基线提升 19.4–30.9%，相比无约束全提示流

语言模型表示中的情感压缩现象

该研究在GoEmotions数据集上评估了Llama、Gemma和Qwen家族的七个指令微调模型，比较模型输出预测与情感提示下的末token表示。研究发现，在无监督KMeans聚类下，隐藏表示最清晰的划分是正负情感两类，较粗的情感分组也能用更少簇恢复，但线性探针仍保留大量细粒度情感预测信息，作者将这一现象称为相对GoEmotions分类体系的"过度压缩"。

论文：Agent 演化中被忽视的问题与 EvoAudit 评估

该论文研究 agent harness 演化（不更新模型权重即可实现递归自我改进）是否带来可靠、高效且可迁移的提升。作者在通用与编程任务上评估四种方法，发现全部十六个演化后的 agent 都获得了此前未覆盖的任务，但同时丢失了此前已覆盖的任务；可靠性提升往往伴随部署成本上升，且最高分 agent 并未带来最大平均提升。研究据此提出 preservation-

CrewAI 1.15.38 发布：默认模型改为 gpt-6-luna

CrewAI 发布 1.15.38 版本，将 gpt-6-luna 设为全框架默认模型，并新增按行读取电子表格 URL、为 eval 使用跨度打标签、支持 --no-open 无头运行等功能。同时修复了 eval 失败计数、.env 权限、API key 校验、memoized 方法作用域等多项问题，并补充了文档。

真实测试：AI编码智能体近四分之三任务仍需人工收尾

阿里巴巴与多所亚洲高校的研究者构建了 Co-Design Bench 基准，用真实用户变更请求测试编码智能体。表现最好的 GPT-6 Astra 平均满足约 70% 的需求，但仅 26.4% 的任务完全正确，说明现有基准接近饱和、与现实可用性差距明显。研究还发现工作环境（harness）对结果影响与模型本身相当，建议排行榜同时报告模型与运行环境。