评测与基准

技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月9日周五 · 13 条

13:14

正文结构化主题已通过公开置信门槛

Hugging Face Daily Papers一手来源研究

从轨迹到智能体世界：面向交互环境模拟的智能体语言世界模型

该论文提出「智能体语言世界模型」范式，用世界模型智能体充当任务智能体的环境，实现有状态、长程的交互模拟，而无需重建原始可执行系统。作者实例化出免训练框架 Trace2Env，将历史交互轨迹重构为包含环境模式、证据与行为知识的 worldbook，运行时由世界模型智能体结合持久化情节状态推断观察与状态变化。在九个环境（终端、代码仓库、Android/Web 应

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.IR一手来源研究

NTCIR-19 大语言模型自动评估任务 AEOLLM-2 概览

本文是 NTCIR-19 自动评估大语言模型任务（AEOLLM-2）的概览论文。该任务在 NTCIR-18 AEOLLM 基础上新增了「深度研究评估」子任务，聚焦于对 LLM 生成的长篇深度研究报告进行自动评估，并通过与人工标注的真实标签对比来衡量各评估方法的性能。本届共收到来自 10 支团队的 91 次提交，论文介绍了任务背景、数据集构建、评估指标、参赛方

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.LG一手来源研究

覆盖度而非难度决定激活探针所需合成数据量

该研究系统测量了激活探针（activation probe）在监控大语言模型时所需的合成数据量，覆盖高风险情境、有害回复和指令遵循三类监控概念。研究发现，探针所需样本量主要由监控概念本身决定，而非单类样本的难度；高风险和有害探针在80个样本后即接近平台期，而指令探针需要数倍样本。核心机制是“覆盖度”：不同类别样本之间的迁移程度决定了概念间的数据需求差异，高风

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

代码理解是编码智能体的瓶颈

微软研究院提出 Cabra，一个用于严格评估编码智能体的合成任务框架，通过有向无环调用图从零生成任务，并在函数遍历、搜索、运行时解析和指令遵循四个维度上控制任务规模。研究在 6,840 个任务上测试了 8 个 LLM 和 6 个编码智能体，发现 LLM 准确率随任务规模下降，但智能体通过调用 grep 等工具可保持接近满分；进一步分析 SWE-bench V

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

Agent4RE：面向端到端软件需求工程的自精炼多智能体框架与基准

研究团队提出 Agent4RE，一个用于端到端软件需求工程（RE）的自精炼多智能体框架，通过编排专门智能体并引入两个迭代改进循环，覆盖从需求获取到生成的全流程。为支持评估，团队构建了基于真实人工需求规格的 RE-E2E 端到端基准数据集。在 8 个 LLM 上的评测显示，三种 Agent4RE 变体在文本指标上平均超越领域上下文增强提示基线 8%，两个增强变

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CV一手来源研究

多源基准与眼自适应像素MeanFlow去除眼镜反光

该论文提出 OcuBench 多源基准（含 10,280 合成对、732 真实输入伪对、458 真实测试图）与 OcuFlow 框架，用于眼镜反光去除。OcuFlow 基于几何自适应 token 支持与几何引导的 pMF，实现单次前向生成，在 RTX 4090 上每图 56 ms，并在配对基准、真实场景无参考评估、用户偏好及下游虹膜定位上均优于现有方法。

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

有损压缩文本自编码器

该论文提出一种基于 Transformer 的文本自编码器架构，通过沿时间轴对隐藏表示进行残差降采样与升采样，并结合残差低维离散瓶颈与量化，学习文本的有损压缩潜在表示。在网页文本数据上，4.3B 参数模型达到每字节 2.24 比特的压缩率，作者称这是文献中文本自编码器模型的最高压缩率。研究还比较了不同量化方法、训练目标和数据集，发现重建与表示之间存在权衡，且

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

超越类型检查：形式化规范生成的全面评估

该论文针对LLM与智能体工作流中形式化规范生成（SpecGen）缺乏验证用户意图机制的问题，提出统一评估框架。作者整合了VERINA（189个）和CLEVER（161个）共350个Lean任务，构建覆盖形式有效性、参考相似性与等价性、行为充分性的数据集与指标。实验发现，将广义树编辑距离（GTED）比较限制在32个可联合测量的VERINA任务后，某配置的平均相

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

TestJack：通过评估器演化审计编码基准测试结果

哥伦比亚大学、UC Berkeley 和乔治梅森大学的研究者提出 TestJack，一个通过演化评估器来审计编码基准测试结果的自动化框架。它针对每个通过固定单元测试的试验，依据任务提示生成新测试，并用真实补丁验证测试有效性，从而发现被误判为正确的试验。在 6 个前沿模型后端和 5 个基准（如 DeepSWE、SWE Marathon）上，约 34.4% 被判