返回主题地图

评测与基准

技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

9月30日周三 · 20 条
正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering观点

演讲：上下文即新代码

Patrick Debois 在 InfoQ 演讲中提出「上下文即代码」的理念，认为自然语言编写的技能与规范可替代大量边缘情况代码，并主张将软件开发生命周期类比为「上下文开发生命周期」。他围绕生成、评估、分发、观察四个环节展开，提到 AGENTS.md 标准化、Context7/Ref 等依赖文档工具、MCP 连接器以及 Kiro、SpecKit 等规范工具

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

实测 Qwen3.8-Flash 与 GLM-5.3-Flash：谁更懂办公？

2026年8月26日，Qwen 发布 Qwen3.8-Flash-Next/Qwen3.8-Flash，Z.AI 发布 GLM-5.3-Flash，两者均定位为面向高频调用的低价快速模型。作者在 Claude Code 中用同一任务实测两款模型开发网页版个人工作台，发现 GLM-5.3-Flash 更像工程交付型模型，系统完整度高；Qwen3.8-Flash

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

从海拉鲁到现实世界：视频模型如何理解「变化」

雷峰网 AI 科技评论对智象（HiDream.ai）发布的视频生成模型 HiDream-O1-Video-1.0 进行评测，设计夜市爆炒、舞台鼓手、冰可乐 ASMR 三组图生视频任务，与 Seedance 2.5、MiniMax H3 在相同参考图和提示词下对比。评测从意图规划、时间因果和音画对应三个维度量化分析，指出 HiDream 在动作—声音—结果时序

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

三个顶级模型控制同一台云台机器人：谁真的把活干完了？

雷峰网作者用一台两轴云台机械臂，把同一句模糊指令「让它满行程转一遍」分别交给 GPT-5.6 Sol、GPT-6 Astra Pro 和 Claude Fable 5.1 执行。三个模型都完成了任务，但路径与验证标准差异明显：Sol 走完四个极限角追求覆盖，Astra 用 7 步只验证两轴各自边界并逐点读取反馈确认，Fable 用 12 步覆盖四角且速度最快

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

实测腾讯、阿里、字节三款办公 Agent：同一份脏数据算出三个答案

雷峰网对腾讯 WorkBuddy、阿里千问办公、字节豆包工作三款办公 Agent 进行同题实测：同一份脏销售流水、同一提示词下，三家算出的季度总额最高比最低多出 57.7%，且各自对异常订单做了不同处理。文章还测试了信息核查与缺失文件场景，并拆解三个 macOS 安装包，指出三家公司分别押注平台、入口与企业上下文，办公 Agent 尚未解决判断、核对与责任归

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

ECCV 2026 Keynote：计算机视觉下一个十年从看懂世界到教会人类

得克萨斯大学奥斯汀分校教授、前Meta FAIR研究总监Kristen Grauman在ECCV 2026主会首场Keynote中提出，计算机视觉应从「看懂世界」走向「教会人类」，让AI成为帮助人学习现实世界技能的AI Guide。她介绍了Ego-Exo4D、FIction、EgoExo-WM、SkillSight、CamFormer、ExpertAF、Ex

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering研究

智能体三周重构30万行C代码，从业者质疑其证明力

CodeScene 发布案例研究，称编码智能体在三周内重构了 30 万行 C 代码库（《街头霸王 III：3rd Strike》开源反编译项目），花费约 4000 美元 token 成本，产生 2903 次提交、修改 25.2 万行，Code Health 分数从 5.6 提升至 10.0。其核心机制是 CodeHealth MCP Server 提供确定性

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

HEIR：以功能角色学习人-实体交互

该论文提出 HEIR 基准与 CoRISP 方法，用于从单张图像中恢复完整的人-实体交互事件结构，包括参与者、功能角色与共享实体身份。HEIR 包含 18,730 张图像、六种角色、105 种动作和 437 个名词，并引入完整集合 AP 与结构评估指标。CoRISP 在重复角色事件和共享参与者图像上分别领先 2.87 和 3.82 Set mAP，在 V-C

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

CoVLM-Bench：协同驾驶问答与规划的真实世界基准

研究者提出 CoVLM-Bench，一个基于 V2X-Seq-SPD 真实车路配对图像构建的协同驾驶基准，同时支持协同驾驶问答（CDQA）与协同规划（CP）两项任务，包含 2,196 对帧、35,136 条问答记录和 2,129 个完整规划样本。基于该基准，作者提出统一 VLM 基线 CoVLM-Drive，直接使用配对视角完成问答与轨迹预测。实验显示 CD

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

印度政府监管文档RAG中解析、分块与嵌入的交互研究

该研究对印度政府监管文档上的RAG流水线进行了受控因子实验，联合评估解析器、分块策略和稠密嵌入模型，并与BM25稀疏基线对比。结果显示：没有单一检索器家族在所有文档上占优；解析器与分块器选择存在显著交互，最佳组合无法从单个组件排名预测；MPNet-base嵌入模型表现持续较差，在表格类问题上失败严重；语料证据保留接近饱和，检索差异主要来自排序质量而非信息损失

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

EEGAgentBench：评估LLM智能体的短时与长时脑电分析基准

中科院计算所等机构提出 EEGAgentBench，一个用于系统评估 LLM 智能体在短时与长时脑电（EEG）分析中表现的统一基准。该基准涵盖六个 EEG 任务、1072 个评估实例，信号时长从 2 秒到近 23 小时，并提供 10 个确定性 EEG 分析工具，要求智能体自主选择工具、迭代积累证据并构建多步工作流。研究对来自 15 个模型家族的 29 个前沿

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

生成后验证主导检索优化：RAG流水线特性的2^4因子消融

联合国大学研究者对RAG流水线的四个特性（章节扩展SE、智能体搜索AS、完整性检查CC、目录引导检索ToC）进行了2^4全因子消融实验，覆盖16种配置、24个查询、8种交互类型和2个云级模型，共768个条件。结果显示生成后验证（CC）在准确率、完整性和有用性上全面占优，单独使用CC（4.31/5）优于任何不含CC的配置，包括SE+AS+ToC三特性组合（4.

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

Agent-Callable Feature Coverage：衡量软件对 AI 智能体的就绪度

该论文提出「GUI–API 对齐原则」，即人类通过图形界面可用的能力也应通过结构化可调用接口向 AI 智能体开放。作者提出 Agent-Callable Feature Coverage（ACFC）产品级就绪度指标，以及基于 Accessibility、Discoverability、Controllability 三维度的 Agent Readiness

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

金融证据拥挤：诊断并缓解RAG中约束诱导的证据位移

论文研究金融问答中RAG的排序失败问题，提出「金融证据拥挤」概念：与查询主题匹配但期间、分部、指标范围或表格范围冲突的候选段落会挤占有限上下文槽位，导致支撑证据被挤出。作者构建FinDeCrowd-Stress受控诊断，在FinDER测试集上发现不兼容候选池使Recall@10下降0.147；并提出FinDeCrowd-RAG，通过类型化兼容性与局部词法竞争

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

Token边界的代价：压缩证书与预测

该论文研究预分词（pre-tokenisation）中正则表达式边界规则对压缩成本的影响，提出通过为候选 token 出现分配非负价格、结合最短路径与词汇预算选择来给出 token 数量的下界，并用独立整数检查器验证。在英文维基百科上，边界规则使最优 token 数增加，BPE 高于受限下界但低于无约束下界。配对多语言实验显示，无约束拟合词典压缩更好，但在所

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

超越规则式变异测试：基于大语言模型的测试感知变异体生成

卡尔加里大学的研究者提出「测试感知的变异体生成」方法，让大语言模型在单次提示中同时接收问题描述、标准解法和基础单元测试，生成能通过基础测试但被扩展测试捕获的非平凡变异体。在 HumanEval 和 MBPP 基准上对 Gemini 3.1 Pro、Gemini 3 Flash、GPT 5.1 Codex Mini、GPT 4.1 Mini、Qwen3-32B

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

更多程序还是更多执行？区分LLM Harness中的覆盖与特化

该论文研究LLM harness（围绕固定求解器组织提示、工具和控制流的程序）的自动生成，提出一种受控评估方法，区分答案覆盖率、可重复的任务优势与执行前选择带来的增益。在MATH-500上，作者比较八个生成harness与九个字节相同的基线副本，每个执行三次，发现相同程序也能带来oracle余量，生成程序的可重复得分模式主要揭示持续弱点而非稳定优势。冻结选择

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

多智能体视觉语言导航：形式化、基准与方法

该论文首次系统形式化多智能体视觉语言导航（VLN）为带约束的协调问题，任务包含依赖与资源约束（presence locks、holding chains）。作者构建了 MAVLN 基准，含 145 个场景、11,724 个 episode、最多四智能体团队及三种指令模式，并提出 TRISS 系统，结合 LLM 子任务调度器、共享拓扑记忆与冲突感知执行机制。实

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

Socrates-RAG：面向协同证据投毒的前提导向主动检索

该论文提出 Socrates-RAG，一种面向检索增强生成（RAG）的主动检索策略，用于应对协同证据投毒。它把竞争性答案表示为假设，选择能区分这些假设的未决前提，并利用新获取的证据细化后续查询，再决定回答或弃答。在 48 个反事实评估场景中，该方法将安全准确率从 79.2% 提升至 93.8%，提升集中在需要两跳推理的案例上。