返回主题地图

评测与基准

技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1077 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

11月3日周二 · 13 条
正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

歧义输入下的自动形式化：SQL与逻辑形式的精度、覆盖与成本

该论文研究面向歧义输入的自然语言自动形式化问题，在 SQL 与一阶逻辑基准上评估了七种工作流。结果显示，原始模型在 AMBROSIA 和 AmbiQT 上 F1 分别为 53.35% 和 60.85%，而 DRIFT 在 AmP 上以 2.03 倍 token 成本提升 15.98 个 F1 点，LoC 则成本更高但 F1 更低。在 AutoCedar 中，

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

EduExplain：教育解释集检索与故事板构建基准

该论文提出 EduExplain，一个面向教育解释生成的基准，覆盖解释集检索与故事板构建两个阶段。基准基于中学科学教材构建，包含 6,921 个多模态资源、2,123 个概念、321 个学习者查询及 741 个参考故事板，并提供人工验证的检索与结构化真值。实验表明首阶段检索质量主导整体表现，现成的多样性选择策略不如简单取排名靠前结果，无约束与固定模板的结构化

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

多方模拟框架中协作行为的情境敏感性评估

该研究针对基于大语言模型（LLM）的多方模拟框架，开展了一项受控的全因子实验，考察团队构成、团队规模（3/5/7/9人）和目标类型（头脑风暴、选择、谈判、执行）等情境因素如何影响协作行为。研究在Sotopia、TinyTroupe和Scripted三个框架下覆盖96种设置，并采用Bales互动过程分析和Meier协作质量框架进行量化。结果显示，模拟器系统性地

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

MAC-Bench：通过互联任务评测多智能体协作

该论文提出 MAC-Bench，一个通过互联任务评估多智能体协作的基准。它从已有基准任务中挖掘可复用的局部协作模式与全局任务结构，经粗到细组合生成任务图，并在可执行环境中实例化、自动验证部分进展与完整任务。作者在两种 LLM 骨干上评测三个多智能体系统与单智能体基线，发现多智能体设计在已验证进展上收益不一，且没有任何配置能解决 48 个测试任务中的 6.25

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

LLM 谈判中的跨语言人设效应

研究者用相同的 Gemini 3.6 Flash 买卖双方实例，在英语和韩语下就同样的 12 个 CraigslistBargain 场景进行谈判，检验提示词定义的人设（合作、中立、强势）是否在不同语言中产生一致的行为效果，并将这一性质称为「跨语言社会策略保真度」。结果显示韩语谈判的成交率显著高于英语（77.3% 对 52.5%），但这一差距只出现在中立和强

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

基于社区的酷儿群体AI危害审计

研究者在 EurIPS 2025 的 Queer in AI 工作坊组织了一场参与式审计活动，16 名酷儿社区成员使用 4Cs 危害分类法（Content、Conduct、Contact、Contract）审查了心理健康聊天机器人、广告支持聊天机器人、内容审核和数据标注劳动四个案例。参与者将危害追溯到问题定义与数据收集环节，并识别出从弱势群体中提取价值却几乎

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

VerusWeave：并发 Verus 程序证明修复基准

来自 INESC-ID 和里斯本大学的研究者提出了 VerusWeave，这是首个专门针对并发 Verus 程序证明修复的基准，由四个开源项目衍生而来，包含 75 个聚焦任务和 17 个完整模块级变体。任务要求编码智能体在不改动可执行代码和规范的前提下补全证明注解，评测框架使用 Verus 和变更检查器验证修复结果。对四种通用编码智能体框架的初步评测显示，聚

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

实测GPT 6.1 Sol与Claude Sonnet 5.5：成本差3.5倍

雷峰网对OpenAI于9月29日发布的GPT 6.1 Sol与Anthropic于9月28日发布的Claude Sonnet 5.5进行同台实测，两者在OpenRouter上API定价相同（每百万输入2美元、输出10美元）。三项任务中GPT 6.1 Sol总花费38.5美元、Sonnet 5.5仅10.9美元，相差约3.5倍，且两者在速度上各有胜负。文章认为

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

字节发现DeepSeek周期性弱点，实测V4.1结果不同

字节跳动Seed团队在9月底的研究中发现，DeepSeek-V4-Flash基础模型会因代码前无关Token长度变化，在正确答案与错误答案之间周期性切换，并将原因指向其CSA/HCA分块KV压缩机制带来的“相位敏感性”。雷峰网通过DeepSeek官方API对现役V4.1-Flash进行64组实测，未复现答案翻转，但观察到正确答案概率随填充长度波动。论文数据显

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

实测 Grok Bot 与两款国产 Agent：多智能体同题撰写综述

雷峰网 AI 科技评论对 Grok Bot、WorkBuddy 和 Qoder CN 三款多智能体产品进行同题实测，要求各自组建 AI 团队撰写《大模型路由研究综述》。Grok Bot 以 12 分 49 秒最快交稿且收录论文最多，WorkBuddy 耗时 21 分 43 秒但正文最接近可编辑底稿，Qoder CN 用 14 分 42 秒展示了智能体交叉纠错

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

REA 实测：Gemini 4 Argon 与 GLM 5.3 复刻故宫名画记

雷峰网 AI 科技评论实测开源逆向分析工具 REA，让 Gemini 4 Argon 与 GLM 5.3 分别拆解并复刻故宫博物院线上名画鉴赏平台「故宫名画记」的作品展示功能。结果显示 Gemini 4 Argon 更贴近原站，保留三列布局、四项筛选与详情页结构；GLM 5.3 虽能跑通浏览路径，但简化了筛选区并改写详情页。文章同时引用 Artificial

正文结构化主题已通过公开置信门槛
Latent Space商业

Legora CTO 谈为律师构建 AI Agent 与评估方法

Legora CTO Jacob Lauritzen 在播客中介绍，公司以 88 亿美元估值完成 5.5 亿美元 E 轮融资，ARR 突破 1 亿美元、客户超 1800 家。由于客户数据高度机密无法读取 trace，Legora 由 3 名工程师和 3 名律师构建 RL 环境模拟法律工作来评估 agent，并雇佣约 100 名法律工程师做无代码配置。Jaco

正文结构化主题已通过公开置信门槛
Latent Space观点

Legora CTO 谈在看不到数据的情况下构建法律代理

Legora CTO Jacob Lauritzen 在 Latent Space 播客中介绍了法律 AI 代理的构建经验：由于客户数据归律所所有，团队无法查看代理的运行轨迹，因此用三名工程师加三名律师搭建模拟客户工作的测试环境，类似强化学习中的“worlds”。Legora 从斯德哥尔摩地下室起步，现已支持起草 Word 文档、单表审查上万份合同和尽职调查

11月2日周一 · 7 条
正文结构化主题已通过公开置信门槛
THE DECODER研究

50个AI智能体在Minecraft中陷入官僚化，对抗Claude时却更激进

Y Combinator Labs 与 Olam Labs 将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 和 Mindustry 进行群体行为实验。在「Civ50」生存实验中，智能体因首夜 22 次死亡而极度规避风险，陷入官僚化微观管理，甚至为一块骨粉花 11 分钟讨论任命「肥料专员」。在与 Claude Opus 5.5 的直接对抗

正文结构化主题已通过公开置信门槛
Import AI研究

Realtime-Bench：前沿模型实时交互任务表现不佳

得克萨斯大学奥斯汀分校、俄亥俄州立大学、伊利诺伊大学厄巴纳-香槟分校、NVIDIA、西北大学和Steadyworks的研究者构建了Realtime-Bench，包含50个交互式游戏与网页任务，用于评估AI系统在低延迟实时场景下的表现。测试显示，GPT-6 Astra在真实时钟条件下通过率最高，仅为36%，而在暂停时钟条件下高推理模型可达70%至80%。该基准

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

AIFaultBench：AI 软件真实缺陷可复现基准

研究者发布 AIFaultBench，一个包含来自 76 个组织的 105 个 AI 软件仓库、共 770 个真实缺陷的可复现基准，覆盖机器学习、深度学习、强化学习、大语言模型、智能体 AI 及 AI 工具与基础设施六类系统。每条缺陷记录关联原始报告、源码版本、环境配置脚本、复现触发条件和调查证据，其中 652 个（84.7%）在记录条件下成功复现，其余 1

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

无需环境副本的智能体世界建模与测试时扩展

来自威斯康星大学麦迪逊分校和微软的研究者提出 Agentic World Modeling (AWM)，将下一观测预测重构为多轮证据获取任务：智能体模拟器通过安全的只读接口自适应查询真实环境，在不改变共享状态的前提下构建假设动作的结果观测。该方法与轨迹级测试时扩展（TTS）结合，使单一共享环境支持并行探索，在 τ-bench、AppWorld 和 Offic

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

音频大模型多模态语音情绪识别的不一致性感知评估

该研究提出一种基于高斯混合模型（GMM）的跨模态不一致性评分方法，将文本与音频映射到共享的效价-唤醒-支配（VAD）空间，把两者距离转化为连续的不一致性概率，并与人类判断进行验证（Spearman r=0.65）。作者在eNTERFACE'05、MELD和CMU-MOSEI三个语料上评估三个音频大模型，发现在控制真实情绪和特征空间距离后，只要音频存在，不一致

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

CLR-Bench：用隐藏规则课程评测自进化智能体

研究者提出 CLR-Bench 基准，用隐藏规则课程测试自进化智能体能否从稀疏反馈中归纳出未被告知的规则并泛化到未见样本。基准包含 10 个领域 20 条链，每级叠加一条隐藏规则，规则对应公开网络上的命名分组（如航空联盟创始成员）。评估六个自进化方法发现，在认证模型下它们几乎学不到规则，最佳仅比冻结智能体高 5 分；而给出命名分组约定的固定提示可提升 14.

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

谱系即记忆：短预算LLM引导优化中的父代继承与反馈披露

该论文通过1750次预注册实验，在九个基准上分离了父代继承与反馈披露对LLM引导优化器的影响。研究发现，贪心父代继承贡献了绝大部分优化进展，即使种子重置方案每轮获得全部失败案例的聚类摘要或使用更大提议模型也无法超越。此外，GEPA的token开销分析显示提议者反思仅占小部分成本，验证和小批量门控消耗了几乎全部预算。