返回主题地图

评测与基准

技术方向 · 模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月13日周二 · 6 条
正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

多智能体视觉语言导航的系统化形式化、基准与方法

该论文首次将多智能体视觉语言导航(VLN)系统形式化为受约束的协调问题,其中每个任务由带依赖和资源约束(presence locks 与 holding chains)的子任务组成。作者构建了 MAVLN 基准,包含 145 个场景中的 11,724 个 episode,支持最多四个智能体在三种指令模式下协作,并配有约束感知指标。同时提出 TRISS 系统,

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Meta 新前沿模型 Muse Wonder Full 跻身 AI 第一梯队

Meta 发布前沿模型 Muse Wonder 与 Muse Wonder Full,在 Artificial Analysis 智能指数上分别得分 52 和 56,较前代 Muse Spark 1.3 的 48 分显著提升,主要增益来自智能体编码与自主问题求解。两款模型支持百万 token 上下文及文本、图像、视频、音频输入,但每任务成本约为前代的三倍,事

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER研究

Sakana AI 自改进模型 MASS:解题与评判变强,却难察自身盲点

Sakana AI 与 UC Berkeley 提出 Multi-Agent Self-Supervision(MASS)方法,让单一语言模型通过自我分配任务、评估结果并优化工作流实现递归自我改进,无需更强的教师模型。基于 Qwen3.6-27B 的实验显示,两轮后对基础模型的胜率从 53.9% 升至 69.9%,评估器与外部评委一致率从 73% 升至 93

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

Meta 发布首批前沿模型 Muse Wonder

Meta 的 Superintelligence Lab 发布首批前沿模型 Muse Wonder 与 Muse Wonder Full,宣称在基准测试上可与 Fable 5.1、GPT-6 Astra 比肩,并强调长周期记忆能力“active memory”。Wonder 通过 Meta Model API 提供,定价为每百万输入 token 4 美元、每

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI模型发布

Meta 发布 Muse Wonder 与 Muse Wonder Full 新模型

Meta 发布两款新 AI 模型 Muse Wonder 和 Muse Wonder Full,即日起面向 Muse Code 订阅用户开放,Wonder 还可通过 Meta Model API 访问。Meta 称这两款模型在内部基准测试中可与 OpenAI 的 GPT-6 Astra、Anthropic 的 Claude Opus 5.5 和 Claude

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
Microsoft Research Blog一手来源研究

微软研究院推出 StudentSim:用个性化学生模拟器改进 AI 辅导

微软研究院提出 StudentSim,一个用于在真实学习者测试前评估和改进 AI 辅导系统的研究系统。它基于公开的去标识化学习记录,为每个学生训练个性化模拟器,并引入 StudentSimEval 基准,从行为保真度和指导响应性两个维度评估模拟器。在国际象棋、第二语言英语写作和数学三个领域,StudentSim 优于主流基线,能为训练 AI 辅导系统提供有用

10月12日周一 · 14 条
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

2026 IEIC国际具身智能技能大赛:用真实岗位任务考核机器人落地能力

2026 IEIC国际具身智能技能大赛宣布举办,基于工信部征集的千余条具身智能应用场景数据,设置9大赛道、23个赛项,计划汇聚千余支竞赛队伍。大赛以真实岗位任务为赛题,采用四模块百分制测评框架,并设奖金与千万级意向投资等产融联动激励。赛事分三阶段推进,赛后转入常态化运营,并串联GDPS秋季大会、迪拜中东人工智能展及2027年WAIC三大节点。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering研究

何时该用 Liquid Clustering?湖仓布局策略基准测试

文章基于 Delta Lake 上 5000 万条记录的受控基准测试,比较了分区、ZOrder 和 Liquid Clustering 三种湖仓存储布局在点查、时间范围聚合、多列选择性过滤和大聚合四类工作负载下的表现。结果显示 Liquid Clustering 在四类中的三类延迟最低,应作为查询模式多样或演进团队的默认选择;ZOrder 仅在过滤列稳定且与

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布

Falcon OCR Arabic:270M 参数阿拉伯语 OCR 达 SOTA

Hugging Face 发布 Falcon-OCR-Arabic,将 270M 参数的 Falcon OCR 模型扩展到阿拉伯语文档,架构不变,通过真实与合成阿拉伯语文档的监督微调(SFT)加高质量样本强化学习(RL)两阶段适配。在自建的 11,974 个真实样本、15 类文档基准上,该模型以 81.9% 文本准确率在 17 个模型中排名第二,仅次于 Ge

正文结构化主题已通过公开置信门槛
量子位产品发布

思灵机器人携12款展品亮相2026工博会

思灵机器人Agile Robots在第26届中国国际工业博览会上携12款展品参展,围绕具身智能、具身模型、科研生态、消费应用、工业落地五大展区展示全栈技术能力。重点展品包括Mobile FR3 Duo双臂移动科研平台、AI理疗康养机器人和摄影机器人,并宣布首届EBiM具身双臂操作挑战赛吸引全球119支团队报名。公司自2018年创立以来已发展为拥有3500多名

正文结构化主题已通过公开置信门槛
量子位研究

华为Memento 3通关25款游戏,操作比人类少56%

华为诺亚方舟实验室联合UCL等团队提出Memento 3智能体系统,基于Claude Opus 5底模,在不更新模型权重、不做游戏微调的情况下,通关ARC-AGI-3公开集全部25款游戏、183个关卡,取得满分100的RHAE成绩,总操作次数7518次,比人类的17135次少约56%。其核心方法是Code as Model,让AI维护可迭代的规则手册和可执行

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

AI生成数据库规格说明的防泄漏评估基准

EPAM Systems 的研究者提出 LRFB 框架与基准,用于在防泄漏条件下评估 AI 生成的 Oracle PL/SQL 数据库规格说明。基准包含 494 个带标签的源-规格对、19 项质量指标和七个维度,并通过 canary 与标签置换测试验证基准有效性。在 247 条留出记录上,GPT-4o、DeepSeek V4 Pro 和 Claude Son

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

SpireBench:用《杀戮尖塔》评估智能体长时程策略能力

研究者提出 SpireBench,一个基于商业卡牌游戏《杀戮尖塔》的长时程智能体基准,让模型在最高难度下完成全部56层决策。对20个LLM的测试显示,前沿模型能击败启发式基线和普通人类玩家,但远落后于专家,且随游戏进程拉长差距扩大。通过全游戏术语重命名消融,发现部分表现依赖对游戏的先验知识;跨局记忆机制未能提升表现,因为17%的记忆是错误且过度保守。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

EliteTable:面向可执行控制策略的自改进程序搜索

该论文提出 EliteTable,一种由大语言模型引导的自改进程序搜索算法,使用固定容量的高分方案表来指导新提案、编辑和重组。在六个 Gymnasium 控制任务上各进行十代、每代五十个候选的评估,每个任务独立初始化搜索十次。结果显示六个任务的候选分数中位数均上升,五个任务选出的优胜者搜索分数中位数上升,四个任务中全部十次配对留出端点均有改善,但 Acrob

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

当AI顾问意见一致:区分预测风险与预测可靠性

该研究基于 iPulse AI 平台 2026 年 4 月至 7 月四个批次、232 个资产、928 份已完成的一季度预测,检验 AI 顾问团预测分歧与预测可靠性之间的关系。结果显示,分歧最低四分位的平均绝对收益误差为 10.31 个百分点,最高四分位升至 21.05,但简单的「价格不变」基线也呈现几乎相同的上升(9.89 到 21.15)。按历史波动率筛选

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

AI 智能体双域 PR 的因果研究:部署基础设施共修改与审查绕过

该研究基于 AIDev v5 与 MOSAIC-3M 两个大规模数据集,对 26,999 个 AI 智能体提交的 Pull Request 进行因果分析,考察同时修改应用代码与部署基础设施的「双域 PR」。结果显示双域 PR 仅占智能体 PR 的 4.48%–4.55%,但产生两极分化后果:被显式审查的贡献中位延迟增加 13.13 小时,而 43.1%–56

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

等预算下MCTS与随机重启列表调度对比:受控计算研究

该研究在受控合成域中对MCTS与随机重启列表调度进行等预算比较,所有方法获得相同数量的候选调度评估。在2048次评估的主预算下,MCTS比随机重启差2.88%,且700/720的MCTS首次结果仅为其热启动。将选择规则换为教科书式UCT后差距大部分消失但未反转,结果限于小规模合成任务,未声称更大预算下的结论。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

SAFE-QE:过滤并抑制LLM查询扩展中的幻觉词

该论文提出 SAFE-QE,一种无需训练、与检索器无关的查询扩展方法,利用子序列关联理论识别并抑制 LLM 生成的幻觉扩展词。方法通过语料条件化的跨上下文可复现性打分,对在随机查询上下文中反复出现但缺乏伪相关集支持的词降权,并以约束覆盖最大化选择近似广泛且一致的词集。在 TREC 和 BEIR 基准上,SAFE-QE 的 nDCG@10 与生成式和语料引导扩

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

SWE-Duel:面向编码智能体的自扩展竞技场

论文提出 SWE-Duel,一个自扩展的编码智能体竞技场:两个智能体在镜像的红蓝回合中互相评测,红方在真实仓库中实现新功能并注入隐蔽 bug,蓝方在不知情下审查并修复 PR,任务与判定标准均在评测时生成,避免训练数据泄漏。作者在 5 种语言的 15 个仓库上对 11 个模型-框架组合进行了 1500 回合的锦标赛,GPT-5.5 搭配 Codex CLI 以