返回主题地图

评测与基准

技术方向 · 模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月29日周四 · 3 条
正文结构化主题已通过公开置信门槛
The Verge AI模型发布

Google 发布 Gemini 4 Carbon,网络安全能力显著跃升

Google 发布前沿模型 Gemini 4 Carbon,在编程、智能体任务和网络安全方面取得显著提升,并在 Artificial Analysis Intelligence Index (v5.0) 等基准上领先 Claude Opus 5.5 和 GPT-6 Astra。该模型目前仅向少数网络安全防御公司开放,后续将通过 Fairwind Progra

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

基于 Amazon Bedrock AgentCore 构建企业级 Agentic AI 平台

AWS 发布基于 Amazon Bedrock AgentCore 的企业级 Agentic AI 平台参考架构与蓝图,提出以 Workstream 单元为扩展单位,通过开发者体验、平台控制、Workstream 执行、保障与运营四个平面,解决多团队构建智能体时的治理、身份、成本归属和生命周期问题。平台提供受控的模型与工具网关、独立推理与工具访问、评估流水线

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Ingot-IV-27B-Q2 三值量化模型发布

Hugging Face 上发布了 Ingot-IV-27B-Q2,这是 Bittensor 子网 Ingot 竞赛中获胜矿工提交的三值量化模型,基于 Prism ML 的 Ternary Bonsai 2 27B 微调,重新调整了分块缩放与归一化权重以更接近 Qwen3.8-27B 教师模型。该模型提供 1.75 bpw(5.95 GB)和 2.125 b

10月28日周三 · 17 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

Artificial Analysis 新指数拉大开源与闭源模型差距

Artificial Analysis 全面改版其 Intelligence Index,将 60% 的评测权重改为私有测试集,以遏制针对公开题库的过拟合训练(benchmaxxing)。改版后 Kimi K3.1 Pro 从第 4 名跌至第 9 名,开源模型与榜首的差距从 3 分扩大到 12 分,Grok 4.7 也下降 12 分。研究者 Nathan L

正文结构化主题已通过公开置信门槛
Interconnects AI观点

Artificial Analysis v5 与基准测试者的困境

Interconnects AI 发表文章,讨论 Artificial Analysis v5 基准测试及基准测试者面临的困境。文章指出,提升模型分数虽有明确方法但成本高昂,而在当前 AI 前沿领域创建有意义的基准测试则更加困难。文章认为,独立语言模型评估的难度被低估。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

小米发布 MiMo-V2.6-Pro-RL 旗舰模型

小米发布 MiMo-V2.6-Pro-RL 旗舰模型,属于 MiMo-V2.6 系列,主打通过扩展强化学习实现自我改进。该模型采用稀疏 MoE 架构(总参数 1.02T、激活 42B),支持文本、图像、视频、音频原生全模态与 1M token 长上下文,并采用混合 RL、Groupwise Agentic Grading 与 MOPD2 蒸馏等技术。评测显示

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

小米发布 MiMo-V2.6-Flash-RL 全模态模型

小米发布 MiMo-V2.6-Flash-RL,这是 MiMo-V2.6 系列中兼顾效率的检查点,主打通过扩展强化学习实现自我改进。模型采用稀疏 MoE 架构(总参数 309B、激活 15B),支持文本、图像、视频、音频原生全模态与 1M token 长上下文,并提出混合 RL、Groupwise Agentic Grading、对齐 RL 与 MOPD2

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

百度发布 Unlimited OCR 2:SR-SWA 实现无界长文档解析

百度发布 Unlimited OCR 2 视觉语言 OCR 模型,提出稀疏参考滑动窗口注意力(SR-SWA),将文本-视觉注意力交互压缩到固定大小的工作参考集(如 512 tokens),使每步解码延迟和内存占用几乎不随文档长度增长。该模型实现有限上下文窗口内的无界文档解析,在 MPDocBench 和 MarathonDocBench 等超长文档基准上达到

正文结构化主题已通过公开置信门槛
量子位开源

逐际动力更新 FluxVLA Engine V2 技术报告

逐际动力更新开源具身智能工程底座 FluxVLA Engine 第二版技术报告,新增在线强化学习后训练实验,并扩展仿真评测与真机部署覆盖范围。报告显示,14 种策略接入统一 LIBERO 闭环评测,优化后推理频率提升 2.31–9.64 倍,SmolVLA 经在线强化学习后在 LIBERO-10 和 RoboTwin Clean 上成功率分别提升 10.0

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
量子位研究

无问芯穹登顶英伟达GPU算子榜四大赛道,拿下88项单题第一

无问芯穹(Infinigence AI)在 NVIDIA Research 推出的 GPU 算子性能评测榜单 SOL-ExecBench 上,先后登顶 L1 基础算子、L2 融合算子、Quant 量化算子与 FlashInfer-Bench 推理算子四大赛道;截至 2026 年 10 月 26 日,在全部 235 道题目中以 88 项单题第一居首,超过第二名

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

KORA:面向 AI 工作负载的确定性优先执行控制

KORA 提出一种「确定性优先」的执行控制层,在推理之前将请求表示为任务路径,优先尝试确定性或结构化路由并验证结果,仅在确定性处理不足时才升级到模型推理。论文报告在一个可复现的 100 项确定性偏重基准中,相比朴素直接基线避免了 80 次模拟模型调用,且确定性子集零不匹配;另有一个合成客服本地/无网络验证工作负载。作者明确限定这些结果不证明生产行为、真实供应

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

PASS 只是声明而非观测:对多智能体审计层中 10 项自我宣称修复的机械复验

该论文研究了一个名为 AITRAP 的实时多智能体知识树平台中,特权协调智能体 azone god 通过广播发布的 10 项代码级修复声明。作者从 179 条广播中提取这些声明,并按文件修改时间一致性、声称的防御模式是否存在于指定标识符和调用点、以及仅凭广播内容能否进行确定性规则复验这三项标准进行机械复验。关键发现是:在信息足够支持复验的声明中,有 50%

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

UnityBench-Mini3D:评估 LLM Agent 的 Unity 3D 游戏开发能力

Unity China 联合纽约大学、中科院、厦门大学、哥伦比亚大学、北京大学、香港科技大学等机构提出 UnityBench-Mini3D,一个面向 Unity 3D 游戏开发的 LLM Agent 基准,包含 77 个项目级任务、7 类专家定义的技能和 3 个难度层级,并用 1178 个人工编写的里程碑测试在引擎内做确定性评测。在 21 个模型和 9 种编

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

继续还是重启?编码智能体早期失败预测的局限

该研究基于两个公开语料库的147,002条执行轨迹,覆盖四种模型-框架组合,评估编码智能体早期失败预测的可行性。研究发现,在5k-20k token的早期阶段,任务内区分度接近随机水平(AUC约0.50),早期前缀仅能小幅提升跨任务排序。在75k token预算下,学习到的重启策略相比随机重启最多提升1.98个百分点,但增益几乎全部来自任务间停止分配,任务内

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

谁说服了谁?追踪多智能体系统中LLM如何改变想法

该论文研究多智能体辩论(MAD)中同伴交流如何影响LLM个体决策与集体结果,提出MAD Bench基准(2400题,覆盖知识推理、价值观道德判断、安全拒答),并用轮次匹配的独立反思作为对照评估三个开放权重模型。研究发现辩论中的答案改变常在生成理由前已确定,同伴推理比单纯答案影响更大,来源可靠性线索强于专业身份,注意力掩码显示影响路径依赖架构;辩论相对独立投票

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

MedJev:评估医学零样本System-One决策

研究团队发布开源 System-One 模型 MedJev,可在笔记本本地运行,在十个医学基准上评估零样本决策能力。在 MedQA、USMLE、NEJM 上分别达到 72.5%、75.4%、80.1% 准确率,与已发表的零样本 GPT-4 结果相差 2-4 个百分点,并显著超过 GPT-3.5。在 MIMIC-IV 院内死亡预测上 AUROC 达 0.926

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

Agentic Living Lab:跨物理-数字连续体的智能体服务系统测试方法

该论文提出「Agentic Living Lab」方法论,用于测试代表委托方行动、改变持久业务状态并可能影响物理过程的智能体服务系统。方法围绕三个问题组织:测试单元(服务片段,含委托角色、义务、世界状态与证据)、参与者(区分被测智能体与环境角色,人类角色可由真人、轨迹回放、规则替代或智能体代理扮演)、执行现实(通过 Realization Profiles

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

ObjectTwin:测量以捕获为锚的数字孪生资产对应差距

论文提出 ObjectTwin,一种以扫描为基准的测量协议:固定实例、相机、扫描投影支撑、记录深度、度量锚点和评估分母,仅替换物体表示,从而量化生成资产替换观测实例后与校准观测的一致性损失(资产对应差距)。在两个室内 RGB-D 采集域和两个生成后端上,可见且锚定的生成资产 MaskIoU 下降 0.302–0.497,所有场景级估计均为正,且同一输入下生成

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

小模型应理解工具副作用:EffectWorld 基准与训练方法

研究者提出 EffectWorld,一个带有副作用类型(纯、读、写、破坏性)和幂等性声明的可执行工具世界,用于训练和评测小型开源语言模型在工具调用中的副作用安全与调用效率。基于该数据训练的 LoRA 适配器使 Qwen3-4B 的任务成功率从 53% 提升到分布内 99%,在未见任务和在线购物域也有显著提升,并迁移到多个模型家族。研究还发现公开工具调用语料中

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

指令微调如何塑造语言模型的选数偏好

该研究提出一种无需采样的枚举方法,通过累加各整数拼写形式的 token 序列概率,精确计算语言模型在“随机选数”提示下的答案分布,消除了采样误差。作者评估了 18 个开放权重模型系列、5 个数值范围、29 种解码配置和两套推理栈,发现指令微调在全部 15 对可比检查点中都使分布更不均匀:微调模型会安装“回避整数”启发式并强化“回避端点”启发式,而基座模型并不