评测与基准

技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 472 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

9月12日周六 · 1 条

01:57

正文结构化主题已通过公开置信门槛

THE DECODER观点

前DeepMind副总裁Vinyals：AI自我改进将至，但不会引发智能爆炸

前Google DeepMind研究副总裁Oriol Vinyals在Agentic AI Summit 2026上表示，AI递归自我改进（RSI）将会发生但不会引发智能爆炸，最大瓶颈在于提出想法和评估结果，AI缺乏所谓的“研究品味”。他与Jeff Dean、Sanjay Ghemawat、Quoc Le共同创立新公司Discovery Loop，目标是端到

9月11日周五 · 15 条

20:39

正文结构化主题已通过公开置信门槛

Langfuse Releases一手来源产品发布

Langfuse v4.35.0 发布：统一搜索、实验对比与 AI 网关改进

Langfuse 发布 v4.35.0 版本，主要更新包括统一侧边栏搜索与保存视图、实验对比运行的颜色编码、评估器控件与版本历史优化、会话时间线 UI 改进，以及 AI 网关的信任执行解析和提供商连接归属功能。此外还修复了会话预设恢复循环、网关端点解析等问题，并进行了代码重构和 CI 配置调整。

16:14

正文结构化主题已通过公开置信门槛

InfoQ AI ML and Data Engineering教程

会话追踪与成本控制助力诊断 AI Agent 故障

StackGen 首席工程师 Sabith K Soopy 在 CNCF 成员文章中分享了生产环境中 AI Agent 故障诊断的实践经验，指出标准应用监控无法解释 Agent 为何循环调用、调用无效端点或虚报完成工作。文章建议使用 Langfuse 捕获嵌套会话追踪，结合硬性迭代上限、单工具调用限制和统计监控来控制成本，并将有界指标导出至 Promethe

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

通过测试却藏漏洞：智能体系统静默失败的实证研究

该研究针对基于LLM的智能体代码修复中「通过测试却仍含安全漏洞」的静默失败问题，使用GPT-4o-mini在七个智能体框架、SecurityEval和CVEfixes两个安全数据集上分析了1030条有效执行轨迹，经三轮定性编码确认170例静默失败。结果将其分为遗漏（48.2%）、引入（30.6%）和不足（21.2%）三类共十种细粒度失败代码，并发现当前以测试

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.MA一手来源研究

完成任务还不够：评估累积挑战下智能体的韧性与体谅性参与

该论文提出评估生成式AI智能体不能只看任务是否完成，还需考察「运营韧性」与「体谅性参与」两个维度。研究在医疗场景下模拟了120条轨迹，覆盖2个生成式AI模型和12项利益相关者任务，施加轻、中、重三级累积挑战，对比文本行动计划、提示式内部评估和结构化工作负荷与情感报告。结果显示，随挑战累积，智能体从自主恢复转向更多依赖人类，结构化报告中工作负荷与负面情绪上升但

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

优化跨部署栈的AI推理

戴尔技术团队发表论文，提出跨部署栈的AI推理优化统一分析框架。作者将部署分解为模型层（量化、剪枝、蒸馏）、编译器层（图融合、布局优化、内核自动调优）和系统层（动态批处理、准入控制、内存分层）三层分类法，并将部署形式化为精度、延迟、吞吐、内存和能耗的多目标约束优化问题。论文还提出证据协议以解决现有基准测试条件不可比的问题，并综合了边缘平台与数据中心GPU的实证

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.IR一手来源研究

TimelyRAG：面向重叠演化文档的语义-时间混合检索

KAIST 的研究者提出 TimelyRAG，一个与检索器无关的语义-时间混合重排序框架，将时间距离纳入排序，以应对法律、政策等文档通过修正案重叠演化的场景。同时发布 TimelyQABench，首个针对重叠演化监管语料的时间敏感问答基准。实验显示 nDCG@10 最高提升 28.6%，Hit@10 提升 19.1%。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

数据高效语言建模：从前沿推进到原理引导的模型改进

Qiushi Engine（浙江大学团队）在 BabyLM 2026 Strict-Small 赛道（1000 万词语料、1 亿累计词呈现预算）上开展端到端自主研究，分三阶段推进：先构建前沿模型，再研究经验组织、监督与能力保持等原理，最后用原理指导模型改进。两代模型在九项指标评测上从 42.02 提升至 42.25，第二代在 2026 年 9 月 8 日公开

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.MA一手来源研究

多智能体LLM系统用于临床问诊训练评估

研究团队开发了一个面向临床问诊训练的脚手架式多智能体LLM系统（AI标准化病人），包含病人智能体、导师智能体和回合级评估智能体。在100名医学生的随机对照试验中，多智能体脚手架条件相比结构化非LLM对照组提升了最终考试成绩，尤其在沟通、共情表达和病史采集行为上改善显著，但诊断准确率无显著差异。团队还发布了多专家标注数据集以支持后续研究。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

CMNIE：中文军事新闻信息抽取基准

研究者发布 CMNIE，一个面向中文军事新闻的信息抽取基准数据集，联合标注了事件触发词、事件论元、命名实体和实体关系四层信息。数据集包含 13,000 条来自公开中文军事新闻的实例，人工标注了 7 种事件类型、10 种论元角色、7 种实体类型和 8 种关系类型。实验显示监督模型、零样本大模型和微调大模型在该基准上仍具挑战性，尤其在关系抽取和事件论元跨度精确匹

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.AI一手来源研究

OpenDiscoveryTrace：评估 AI 科学家工作流的过程轨迹数据集

研究者发布 OpenDiscoveryTrace，首个公开的 AI 科学智能体过程轨迹数据集，包含 558 条完整轨迹，覆盖 7 个模型和 124 个科学任务。每条轨迹记录 9 字段的逐步推理过程（思维、工具调用、观察、错误、修正触发、置信度等），而非仅最终输出。初步分析显示，三个前沿模型成功率相近（84–89%），但错误类型差异显著：Claude Opus

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

多语言只是名义上的？LLM 在乌尔都语中的文化与语言弱点

研究者构建了 Urdu-Stories 语料库，包含由 GPT-5.1、Qwen-3-Max、DeepSeek-3.1 三个当代 LLM 生成的 93 篇乌尔都语故事，并按九类语言、语义与文化错误分类法进行人工标注。研究发现这些模型常犯基础语法和语义错误，故事缺乏连贯性、存在不自然重复，并普遍表现出文化浅薄。作者进一步用少样本提示证明文化与语境错误大多无法解