返回主题地图

评测与基准

技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月2日周五 · 1 条
正文结构化主题已通过公开置信门槛
智东西模型发布

谷歌发布Gemini 4 Argon，性能比肩Astra成本仅60%

谷歌发布新一代旗舰模型Gemini 4 Argon，重点面向软件工程、法律金融等企业知识工作及网络安全防御等长周期任务。该模型在DeepSWE v1.1、Vals Index、AutomationBench、LVBench等多项基准测试中领先GPT-6 Astra、Claude Fable 5.1和Claude Opus 5.5，输出Token上限提升至10

10月1日周四 · 18 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源商业

uniopen 基于 Amazon Nova 定制零售审核模型并部署生产

台湾统一企业集团旗下的数字通信与会员平台 uniopen 为其中文电商与会员渠道定制了内容审核模型。团队基于 Amazon Nova 2 Lite，通过 Amazon SageMaker AI 进行监督微调，并加入提示词级输出优化，以适配其按「行为（9 类）」和「主体（品牌/其他/禁止）」两轴划分的业务专属审核政策。方案将纠错数据、训练、评估与部署纳入统一工

正文结构化主题已通过公开置信门槛
量子位模型发布

谷歌Gemini 4 Argon突然发布，多榜单登顶且成本减半

谷歌突然发布新一代旗舰模型Gemini 4 Argon，在DeepSWE v1.1、CWE-bench v1、Vals Index、Text Arena等多个榜单登顶或领先，性能对标并部分超越Claude Opus 5.5和GPT-6 Astra，且单题成本约为Astra的一半，每百万输入/输出Token定价2美元/10美元。该模型支持最高百万Token输出

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11317：修复 llama-bench 日志过滤并更新多平台构建

llama.cpp 发布 b11317 版本，主要修复了 llama-bench 的日志详细度过滤问题，使其能够正确显示 GGML LOG ERROR 级别的日志，并清理了无用变量。同时该版本提供了覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 等多平台、多后端（CUDA、Vulkan、ROCm、SYCL、Ope

正文结构化主题已通过公开置信门槛
Latent Space模型发布

Gemini 4 Argon 发布：13/19 基准 SOTA，支持 100 万输出 token

Google DeepMind 发布 Gemini 4 Argon，在 19 项基准中的 13 项取得 SOTA，并首次实现 100 万 token 输出上限（通过 Long Decode Continuation API 功能）。目前仅面向政府用户和 Fairwind 计划中的可信网络安全防御者开放预览，定价为每百万输入/输出 token 4/20 美元，

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

Zero2Repo：编码智能体能否从零构建代码仓库？

研究团队发布 Zero2Repo 基准，用于评估编码智能体从零构建完整代码仓库的能力。任务由真实开源项目自动转换为需求文档、接口契约和隐藏验收测试，覆盖 Python、TypeScript、Go、C++ 共 11 个任务。评估显示最强智能体仅解决 10 个任务，且失败提交仍通过 90–99% 的隐藏测试，失败多源于规范中的低频规则或单一遗漏，而非缺少子系统。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

CARAT：材料大模型是在推理还是背诵？

该论文提出 CARAT 基准，用于检验材料领域大语言模型在回答晶体结构问题时究竟是在进行结构推理，还是仅仅复述输入中已印出的答案（readback）。CARAT 将同一问题渲染为八种匹配视图，并加入配对评估、反捷径测试和统计规则，在 562 种材料、1024 道匹配问题上测试 27B 模型。结果显示 GraphSpace 视图相对公式输入有 17.3 个百分

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

对齐预测：从训练数据预测模型失准

研究者提出「对齐预测」（Alignment Forecasting）任务，即在微调训练前预测模型是否会出现欺骗、谄媚等对齐失败，并发布包含17个目标模型、32个数据集、16种失败模式的基准 AlignmentForecastBench。他们提出的预测框架由LLM审计数据集并打分，再用逻辑回归结合失败模式基率和目标模型先验倾向，效果显著高于随机，并优于直接提示

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

扩散语言模型应如何编辑代码？四种接口与组合鸿沟

该研究系统比较了掩码扩散语言模型（MDLM）在代码编辑中的四种接口：整文件重写、搜索替换、先定位后填充、token级编辑。在CanItEdit基准上的实验揭示了一个“组合鸿沟”：当给定正确的编辑位置时，扩散模型能协调多处修改，但一旦需要模型自己预测编辑位置，这种能力就大幅丧失。研究进一步分离出两个独立要求——覆盖所有必要修改区域，以及精确划定区域边界；扩大区

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

提示扰动对大语言模型偏见与幻觉的影响评估

该研究由坎特伯雷大学等机构的研究者开展，系统评估了提示扰动（prompt perturbation）对大语言模型在决策任务中偏见与幻觉的影响。研究发现，与以往研究相反，提示扰动在某些模型上能够减轻偏见和幻觉；Claude 3 在多数数据集任务上表现更有效，而 GPT-3.5 表现参差不齐，部分任务相当但另一些明显落后。作者强调，将 LLM 作为决策支持工具部

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

E2E-SWE：评测 LLM 从零构建可运行代码仓库

研究团队发布 E2E-SWE 基准，用于评估 LLM 编码智能体能否仅凭自然语言规格说明和空工作区，从零构建完整可安装的软件仓库。该基准包含覆盖 11 种编程语言的 186 个整仓库生成任务，每个任务由软件工程师与 LLM 协作编写规格与隐藏测试，并经过静态审计和真实模型 rollout 的迭代修复以保证可解性。评测 13 个前沿模型显示 pass@1 从

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

TAGGRAPH：面向智能体持久历史的标签增强图检索

该论文提出 TAGGRAPH 受控评估框架，用统一的 5W 标签表示和 remember()/query() 接口比较不同智能体长期记忆检索配置。在 LongMemEval-S 上 AdaptiveGraph 取得 0.844 MRR，但 BM25 达 0.867、OpenClaw 达 0.880；在 ATANT Core 上局部图遍历优于扩散和 BM25，

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

递归组织改进：人机组织的建模规范

该论文提出「递归组织改进」（ROI）的建模规范，用于描述人机组织中如何评估、保留和修订工作安排，包括修订改进流程本身。作者通过可执行检查器、公开 PR 记录映射和受控仿真进行验证，跨六种决策规则、三种记忆条件和三种任务环境开展机制研究。结果显示，累积证据可提升平衡评估的净价值，但无限期保留证据会在环境反转后延迟适应，而程序替换本身并未带来稳定收益。研究强调证

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

OpenCollab：可编程协作与可控运行时的多智能体编码框架

该论文提出 OpenCollab，一个面向多智能体编码的可编程协作与可控运行时基础设施，通过统一抽象声明角色边界与通信拓扑，并在共享底座上执行不同配置以控制变量。研究提出 Adherence 指标量化声明组织与实际执行的一致性，发现仅改变单一维度即可使协作率从 47.2% 升至 97.2%，且审计的十个主流智能体框架均无法保证受控对比或验证行为交付。Open

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

RAG 检索策略受控对比：重排与后期交互提升科学问答检索质量

该论文对科学问答场景下的六种 RAG 检索策略进行了受控对比，包括经典稠密检索、LLM 查询改写、查询改写加重排、基于 RRF 的多查询融合、智能体工具调用式检索，以及 ColBERTv2 的后期交互检索。所有流水线共享同一生成器（Llama-3.1-8B-Instruct）、提示词和评测协议，并从 463,971 篇 2024–2025 年 arXiv 论

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

WorldAuditBench：多模态智能体交互式3D世界审计基准

研究者提出 WorldAuditBench，一个用于交互式 3D 世界审计的基准，包含基于 Unreal Engine 5 和 Three.js 构建的 13 个环境中的 213 个异常任务，覆盖五类异常。他们用两种审计范式评估五个前沿模型：先由 VLA 探索再由 VLM 识别异常，以及端到端 VLM 智能体直接以视觉推理指导动作选择。模型成功率在 6.6%

正文结构化主题已通过公开置信门槛
Apple Machine Learning Research一手来源研究

强智能体做自主ML工程需要多少框架？

Apple Machine Learning Research 发表论文，研究自主机器学习工程（MLE）智能体是否需要复杂的工程框架（harness）。研究发现，在相同时间预算和相同前沿 LLM 基座下，开源最先进的复杂框架相比仅使用读写和 bash 原语的最小化编码智能体基线并无优势，性能主要由基座模型决定。通过大规模系统性消融实验，作者认为在编码智能体场

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

谷歌发布Gemini 4 Argon，称其最强模型专注网络安全

谷歌母公司Alphabet发布Gemini 4 Argon模型，称其为迄今最强模型，特别擅长网络安全防御工作，可自主发现、验证并修补关键软件漏洞。该模型目前仅通过Fairwind安全计划向部分网络安全合作伙伴开放，同时具备编程、调试、代码库迁移及视频图表解析能力。谷歌称Argon在多项基准测试中显著优于OpenAI的GPT-6 Astra和Anthropic

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Google Gemini 4 Argon 缩小与 OpenAI、Anthropic 差距但未明显领先

Google 发布新一代旗舰模型 Gemini 4 Argon，在多项基准上缩小了与 OpenAI、Anthropic 前沿模型的差距，部分指标实现反超，但未取得明显领先。该模型支持最高 100 万输出 token，并新增 Long Decode Continuation 功能以支持长推理。Argon 先向受信任的网络安全防御方开放，随后逐步向开发者、企业和

9月30日周三 · 1 条
正文结构化主题已通过公开置信门槛
THE DECODER安全

Anthropic：智谱开源模型GLM-5.3漏洞利用能力逼近Claude Mythos Preview

Anthropic 前沿红队发布分析称，智谱（海外品牌 Z.ai）的开源权重模型 GLM-5.3 在漏洞利用开发能力上已接近 Claude Mythos Preview：在 ExploitBench 上 410 次尝试中成功构建可用漏洞利用 50 次，Mythos Preview 为 56 次；内部二进制利用基准上 GLM-5.3 完全控制目标程序的比例为