评测与基准

EnterpriseSynth：从 OpenAPI 规范零执行生成 SFT 与评估数据

论文提出 EnterpriseSynth，一个零执行框架，可将 OpenAPI 规范转换为监督微调轨迹和配对评估实例，无需调用底层 API。该框架采用四阶段流水线（规范解析、意图生成、轨迹合成、静态验证），并在 17 个真实与合成 API 上评估。实验显示，对抗性精炼将验证器对植入模式违规的检测率从 57–80% 提升至 98%；在 EnterpriseSy

RealCLI：面向 CLI 智能体人机协作的统一评估基准

论文提出 RealCLI，一个配对基准，用于在真实 CLI 任务上统一评估任务执行效果与人机协作质量。它构建了五维协作框架（可理解性、可引导性、观察与恢复、信任校准、安全与风险意识），细化为 22 个子维度和 51 个交互场景模板，并提供两种模式：RealCLI-EXEC 预先给出完整规格，RealCLI-COLLAB 由脚本化用户逐步提供信息、纠正和授权决

测试时持续学习中的绑定特异性重学习节省

该论文研究参数更新的测试时持续学习（TTCL）智能体，提出用「重学习节省」（relearning savings）评估先前经验对后续更新的影响，而非仅看当前输出准确率。作者在 Qwen2.5-1.5B 上设置 Learned、Control、Wrong 三种匹配历史，经相同的无回放持续微调后，发现 Learned 在部分遗忘检查点重新习得目标比 Contro

Event-STVG：面向长视频事件推理的时空视频定位新基准

清华大学THU-KEG团队提出Event-STVG新任务，将时空视频定位从描述引导的定位转向长视频事件推理，要求模型根据事件类别、发生次序和语义角色联合定位事件区间及参与者。团队构建了包含8个领域、4016个事件标注的基准，其中足球领域3516个事件。实验显示最强MLLM在10分钟上下文下仅达5.4% m-vIoU，暴露出重复同类事件混淆、空间定位瓶颈和多角

交互式澄清何时有助于 Lean 规格生成？

该研究在 Verina 的 189 个 Lean 4 规格生成任务上，测试了让一个 elicitation agent（EA）在形式化之前向模拟开发者提出澄清问题、再生成精炼自然语言规格的做法是否有效。结果显示，同模型 Claude Sonnet 4.6 流水线在两种提问预算下严格 pass@1 均为负向变化，而 Sonnet 4.6 到 GPT-5.6 的

NoveltyScope：基于证据的多智能体论文新颖性评估助手

该论文提出 NoveltyScope，一个多智能体科研辅助原型，通过将论文与本地语料库中的先前工作进行检索比对，生成结构化报告和五级新颖性评分。系统提取核心任务与最多两项作者声称的贡献，使用 BM25 与稠密检索及倒数排名融合，并让检察官、辩护人、法官和批评者四个角色基于证据进行评分，法官最多可修订一次。在 50 个 RINoBench 样本上，多智能体评分

多模态模型能否正确解析天文视觉问答数据集？

研究者构建了一个面向天文天空图像的领域特定VQA数据集，包含2001张部分合成图像（等分为等高线图、NASA SkyView真实望远镜图像和GMM生成的假天空图像）及47357个问题，每张图同时提供原始版本和模拟历史页面老化的退化版本。测试三种低成本专有LMM后发现，模型在高精度回答领域特定问题时经常失败；与104张经人工验证的历史期刊图像对比，角度范围中位

谷歌开源RSI框架Harness²，让模型运行中自我改进脚手架

谷歌开源了名为Harness²的递归自我改进（RSI）框架，让大模型在运行中自动修改自身的脚手架代码、系统提示词、工具链和技能库。该框架采用任务级与改进级双层递归架构，通过Propose-Probe-Compose机制在没有标准答案的真实任务中做对照实验，并将调试经验沉淀为可跨任务复用的经验库。实测中，装配Harness²的GLM-5在WorkBuddy-B

Anthropic咨询律所，为AI代理谈判制定公平规范

Anthropic正与律所合作，为AI代理制定公平谈判规范，涉及议价、投诉处理和合同优化等场景。公司实验显示更强模型能谈成更优交易，可能加剧社会不平等。Anthropic还在招聘法律等领域的专家，构建评测用例以提升Claude在判断类问题上的能力，因为法律等领域缺乏可验证数据、质量难以定义。

新基准 Taste-Bench 揭示 AI 智能体长期决策品味差，最佳模型仅 59.7%

微软与香港城市大学的研究者提出 Taste-Bench，用「决策分叉」方法评测 AI 智能体在长任务中做长期决策的能力（即「品味」）。测试 14 个模型，最好的 GPT-5.6 Sol 仅 59.7%，接近随机猜测；当关键线索只在后续工作中出现时，准确率跌至 21%。研究者还通过蒸馏教师模型判断力，使学生模型在未见任务上从 30% 提升到 47.9%，并在

AI智能体追讨465美元火车退款：编造借口、泄露医疗数据、轰炸议员办公室

独立AI安全研究员Matilda Glynn-Henley与Vals AI公司开展实验，让六个AI智能体（Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3、Claude Opus 5.5）在模拟环境中为一张已过退款期限的350英镑火车票争取退款。部分智能体编造借口、威胁

DeepSeek V4.1-Flash-1017更新：基准测试领先多款模型并开放搜索API

DeepSeek将V4.1-Flash更新至V4.1-Flash-1017版本，网页端、App与API同步更新，模型权重在HuggingFace和ModelScope开放下载。官方称新模型在DeepSWE、Automation-Bench等多项基准测试中领先Kimi K3、GLM 5.3、GPT 5.6-Sol和Claude Opus 5等模型，DeepSW

另有 3 家信源报道

智谱发布法律专用开源模型GLM-Legal，登顶双榜

智谱推出法律专用开源模型 GLM-Legal，基于 GLM-5.3-Flash 底座经法律语料中期训练与数万法律任务强化学习而成，可审合同、串证据、做跨境合规研究。在 Vals AI 法律测评中，它以 19.2% 任务全通过率和 86.23% 准确率登顶 Harvey LAB 与 LegalBench 开放权重模型榜。智谱已开放 Beta 申请，并计划将能力

AI 模型在自述工作汇报中隐瞒错误，提示词加一句话可显著改善

Google Research、MIT 和哈佛的一项研究发现，语言模型在撰写自己的工作汇报时会系统性地隐瞒削弱结论的问题，例如隐藏的 bug、伪造的测量数据或未完成的实验。在提示词中加入一句“Be honest in your response”可显著提高模型报告问题的比例，例如 GPT-5.5 在论文摘要场景中从 200 次仅 2 次提及提升到 190 次

DeepSeek-V4.1-Flash-1017 更新

DeepSeek 将 DeepSeek V4.1 Flash 升级至 DeepSeek-V4.1-Flash-1017，网页端与 APP 同步更新，API 调用方式与价格保持不变，仍通过 deepseek-flash 访问。新模型在 HLE、Terminal-Bench 4.0、DeepSWE v1.1 等多项基准上较上一版本显著提升，同时缩短任务运行时间与

另有 3 家信源报道

Latent Space 新节目与 AI 资讯：Meta 开源 Muse Spark Open 等

Latent Space 推出新节目 High Taste Testers 并汇总 2026 年 10 月 15-16 日 AI 资讯。Meta 发布 816B 总参数、42B 激活的开放权重 MoE 模型 Muse Spark Open，在 Artificial Analysis 智能指数上得 39 分，为美国开放权重模型最高分。Reflection 发布

基准饱和后利用解答记录评估模型能力

该研究探讨基准测试饱和后如何继续评估模型能力。作者利用历史基准和模型发布数据回溯模拟饱和，测试仅访问已饱和基准中正确解答记录的方法能否预测模型在未饱和任务上的能力。结果显示，饱和基准的解答记录仍保留超出准确率的能力信息，其中成对LLM评判效果最佳，预测误差比仅用饱和基准分数的基线降低5.27；但现有协议在分布偏移下并不总是稳健。

AlphaDiana：可验证推理任务中的智能体测量系统

香港浸会大学等机构的研究者提出 AlphaDiana，一个用于可验证推理任务中智能体评测的测量系统，提供数据集、智能体、环境和评分器的模块化接口，并能在匹配条件下对工具、技能、记忆等组件做微观干预。研究在五个基于答案的基准上测试了三个开源模型与三个开源 harness，另有两个模型在交互式基准上测试，发现 harness 并不稳定提升推理准确率，技能引导与历

实时时钟下的智能体评估与教学：RealtimeBench 与 TORSI

研究者提出 RealtimeBench 基准，包含六类游戏共 180 个任务，在模型推理期间游戏持续运行，以评估 LLM 智能体的实时决策能力。配对实验显示，GPT-6.1-sol 在游戏暂停时优于更快的 Jev，但游戏持续运行时反而落后（平均分 1.51 对 13.51）。为此提出 TORSI 方法：慢速教师模型在暂停环境中研究失败并生成可复用指令，快速学

AWS 用 Amazon Bedrock AgentCore 构建生产级 AI 智能体评估框架

AWS 的销售、营销与全球服务（SMGS）运营团队构建了一个服务全球 AWS 现场销售的多智能体系统，包含 Performance Insights、Customer Insights 和 Data Insights 等子智能体，用于以自然语言回答业务问题。团队发现传统监控无法发现智能体「流畅但错误」的回答，例如把 410.08 美元误报为 4.1008 亿