评测与基准

技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月5日周一 · 14 条

13:57

正文结构化主题已通过公开置信门槛

Hugging Face Daily Papers一手来源研究

学习蛋白质折叠能否泛化到更广泛的推理？

研究者构建了 FoldingCorpus 蛋白质问答数据集与 Fold2Reason 后训练方法，通过离散结构答案和连续 3D 几何两种信号进行训练。在 FoldBench 上，Fold2Reason 的结构预测得分达到 Qwen3.5-9B 的 2.7 至 3.5 倍，并在空间、图、科学和通用推理等全部 10 个基准上均有提升，宏平均准确率从 45.09%

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.IR一手来源研究

盘基网柄菌文献检索基准：dictyBase 案例研究

研究者基于模式生物数据库 dictyBase 构建了一个面向盘基网柄菌（Dictyostelium）的文献检索基准，包含策展人编写的生物查询、对应的 PubMed 文章及结构化基因注释。研究考察了交叉编码器重排序、基因感知查询扩展以及摘要与全文检索三种因素，发现重排序和基因感知查询扩展能选择性提升检索效果，全文分块在摘要缺失证据时显著提升召回与排序表现。数据

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CV一手来源研究

EditHero：长程部件级3D编辑与Vibe建模基准

Alaya Lab 联合东京大学等机构提出 EditHero，一个面向长程部件级 3D 编辑与 vibe modeling 的基准。该基准通过数据引擎在分割后的宿主物体上执行 add、remove、replace、retexture 四种操作并记录 JSON，经人工审核后包含 457 条编辑链、2755 次编辑、252 个物体，每条链最多 30 轮。作者在自

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

通过有效提示提升LLM生成代码的能效

该研究系统评估了21种提示策略对LLM生成代码能效的影响，并在10个开源与专有模型上测试了其中8种策略，覆盖Python和C++。结果显示，相比基线提示，这些策略可使Python代码能耗最多降低25%、C++最多降低17%；模型层面，Granite-4.0-H-Small的Python能耗降低达50%、C++达56%。研究强调应将能效纳入LLM代码生成的评估

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.MA一手来源研究

MIRROR：面向LLM多智能体通信的多路径仲裁完整性

论文提出 MIRROR，一种面向 LLM 多智能体系统（LLM-MAS）通信层的完整性原语，用于防御 Agent-in-the-Middle（AiTM）攻击。MIRROR 将同一规范化载荷复制到多条逻辑路由，仅当严格多数路由报告相同摘要时才接受消息，其安全性完全依赖诚实路由占多数的假设，而非无密钥哈希本身。在 MMLU、HumanEval、MBPP 及 Me

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

HakemBench：土耳其语类型化决策基准发布

研究者发布 HakemBench，一个土耳其语「类型化决策」基准，包含 2,346 个条目、4,275 道选择题/是非题/评分题，覆盖事实核查分流、教育、护栏、法律路由、内容审核、垃圾邮件与钓鱼、客户支持七个赛道，采用 CC BY 4.0 完全开放。其评分工具同时衡量决策质量（宏 F1）、校准度（归一化 Brier 分数）与选择性自动化（归一化广义风险-覆盖

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

WebUIProof：用UI-Agent执行框架评测WebUI代码生成

研究者提出 WebUIProof，一个面向 WebUI 代码生成的执行导向基准，用结构化规格和可执行交互测试替代自由提示与静态检查，覆盖通用 WebUI 与 3D 交互模拟两类任务，共 219 个任务和约 3000 条交互测试。其 UI-agent 执行框架在无头浏览器中通过 plan-act-observe 循环定位 DOM、执行点击/输入等操作并验证断言

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

SymCE：逐定理符号验证器生成反例，模仿有害而强化修复

该论文提出 SymCE，一个包含 4,707 个假数学猜想及逐定理 Python 验证器的确定性反例生成环境，验证器同时充当强化学习奖励函数。作者发现仅用反例数据做 SFT 会导致「模仿陷阱」，使模型识别真定理的能力从 0.27 崩溃至 0.00，而基于验证器的 RLVR 可修复该问题并提升至 0.66。训练后的 Qwen3-4B 在域内反例任务上超越所有评

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

找到着法不等于赢棋：XiangqiBench 闭环评估 LLM 智能体

研究者提出 XiangqiBench，一个可执行的中国象棋基准，用于闭环评估 LLM 智能体：从 119 个有引擎或仅将军搜索支持的战术残局出发，智能体需执红方对抗引擎防守方并完成将死。研究记录了 12 个前沿 LLM 在两种观察协议下的 8,568 条多轮轨迹，发现三种看似胜任的信号均高估闭环成功率：转换差距（26.1% 走对参考首步但仅 13.9% 获胜

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CV一手来源研究

域偏移下行人检测的置信度控制XAI审计

该研究对固定YOLOv8s行人检测器在PIE和JAAD两个驾驶数据集上的事后解释进行审计，采用基于ROI的D-Deletion、冻结置信度三分位、秩检验、bootstrap区间和Holm校正。结果显示，基于删除的忠实度与解释时的检测强度强耦合，Spearman相关性使按置信度分层的朴素比较不可靠；在固定区间内控制检测强度后，D-RISE忠实度在中心范围仍具域

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.SE一手来源研究

SimuVerity：面向工程级 Simulink 模型生成的智能体基准

研究者提出 SimuVerity，一个包含 101 个文本到可执行 Simulink 模型生成任务的基准，覆盖十个工程领域，每个任务配有可执行系统画像和四类原生仿真场景。其分层评估器先检查交付、可执行性与工程合格性，再从准确度、输出质量、机理保真、控制与因果完整性、工况鲁棒性和动态响应六个维度打分。对六个智能体系统的评测中最高总分仅 42.86，交付率、可执

当日发布

正文结构化主题已通过公开置信门槛

arXiv cs.CL一手来源研究

CUE：面向多轮基准测试的校准用户嵌入

该论文提出 Calibrated User Embeddings (CUE) 框架，用于多轮交互基准测试中的用户模拟器校准。研究发现现有模拟器虽在表面风格上接近人类，但缺乏结果校准，即无法复现真实用户与同一智能体交互时的成功率和失败模式。CUE 通过编码真实会话并采样连续表示，再解码为 persona 命令来引导 LLM 模拟用户，无需训练即可在多个任务上更