返回主题地图

评测与基准

技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月3日周六 · 1 条
正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Circuit Breaker Labs 用模拟用户智能体为 AI 安全做红队测试

TechCrunch 2026 年 Startup Battlefield 200 入围者 Circuit Breaker Labs 推出 AI 安全测试平台，用模拟不同年龄、背景、语言和文化用户的 AI 智能体对模型进行红队测试，以发现模型在识别心理有害互动时的漏洞。该公司的创立受到 14 岁少年 Sewell Setzer 与 Character.AI

10月2日周五 · 19 条
正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布

Laya AI 模型：工作原理、本地运行与评估指南

Convai Innovations 发布开源权重、非自回归决策模型家族 Laya，输入为状态加若干类型化问题，输出带概率信息的答案对象，采用 Apache 2.0 许可并支持本地推理。英文检查点基于 ModernBERT-large（约 4.21 亿参数），多语言检查点基于 mmBERT，提供 Router 在检查点间选择。文章强调其概率需在自有任务上校准

正文结构化主题已通过公开置信门槛
THE DECODER研究

AI 记账速度与准确率超持证会计师，但仍无法独立结账

Mercor 的一项研究让 12 位平均从业五年半的持证 CPA 完成 APEX 会计基准中的简化任务，发现 AI 模型在结构化记账任务上比人类会计师更快、更准、成本更低。18 个月前最好的模型得分还低于会计师约 37% 的平均水平，如今已几乎完美解决同类任务。在完整 APEX 基准（160 项任务、10 家模拟公司）上，Claude Opus 5.5 以

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse 发布 v4.50.0：增强评估功能与界面修复

Langfuse 发布 v4.50.0 版本，主要更新集中在评估（evals）功能与 Web 界面体验。新增 facet 类型、内置保护与规则空闲时间，并在评估器状态中展示七日执行健康度；同时修复了评估器模型校验、元数据 JSONPath 显示、API 元数据类型等问题，并升级了 piscina 与 next 依赖。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

理由传递了什么？角色专用问答中的消息干预研究

苏黎世大学和上海交通大学的研究者提出了一种“消息干预”诊断方法，用于检验角色专用问答流水线中推理者传递给验证者的理由（rationale）究竟起什么作用。在 MuSiQue、HotpotQA 和 2WikiMultiHopQA 的 400 个样本上，以 DeepSeek 作为生成器和验证者，实验发现忠实理由几乎不提升答案准确率，但被破坏的理由会显著改变验证者

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

微任务资格差距：现成SLM何时足以支撑Agent Harness？

该研究构建了一个包含4个agent harness微任务（shell命令自动批准、记忆召回、记忆写入决策、工具选择）的冻结基准，以非LLM基线为锚并采用CI感知的资格规则，测试Qwen3 0.6B-8B和Llama-3.x等现成SLM。结果显示16个（任务×模型）配置无一通过资格阈值，量化到4-bit也不能使任何配置达标，差距更多与模型规模而非精度相关。作者

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

首个token并非判决：不生成直接读取LLM评判的隐藏代价

该论文研究从LLM评判模型首个生成token的logits直接读取判决（即强制读取）的做法，发现这种廉价方法会系统性高估位置偏差，因为评判模型并非总以判决token开头。在Qwen3、Llama-3.1-8B和Phi-3.5-mini等模型及JudgeBench、LLMBar基准上，强制读取在评判模型未主动给出判决时返回的是先展示的响应而非真实判断，导致位置

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

多智能体系统授权配对评估与控制框架FlowReview

论文提出授权配对评估方法，将阻止禁止用途与完成必需授权用途作为联合成功标准，并给出FlowReview框架，连接对象解析、权限排序与确定性执行。在受控组合实验中，审查组合产物将拒绝提交率从86.0%降至零，且授权供给无损失。研究表明仅保留信息和血缘不足以确保正确权限归属，需将对象身份与权限通过可验证组件连接到执行。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

LLM 偏见评估中人类衍生构念的批判

这篇 arXiv 论文对当前 LLM 偏见评估中直接套用人类偏见构念（如内隐联想测验、锚定效应、框架效应等）的做法提出批评。作者指出，心理测量工具原本用于研究人类认知与社会行为，而 LLM 评估依赖 token 概率、文本补全、排序或模拟决策，二者之间存在推断鸿沟。论文提出一个分析框架，用于厘清不同评估设计能支持何种结论，并强调需要更强的理论依据。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

委派危险带：中等能力子智能体为何过度信任继承的陈旧状态

该研究提出并测量了智能体框架中子智能体继承父智能体完整上下文时的「委派危险带」现象。作者在Qwen3 0.6B至8B同族模型阶梯上对比Reset、Selective、Full三种继承策略，发现对已被推翻的陈旧状态的盲从随能力提升而急剧下降，但净继承危害呈非单调模式：中等能力模型（Qwen3-1.7B）是统计显著的局部最差点，形成危险带。精选式交接（Selec

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

AI科学家能否在运行时协调？

该论文提出运行时智能体协调（RAC）框架，用于多智能体AI科学家系统，在运行时根据当前研究状态选择智能体、分配工作契约并进行基于产物的验证。作者在Agent Laboratory、EvoScientist和ARK三个宿主系统上、在匹配预算下进行了单种子探索性评估，发现运行时选择能提升各宿主的平均得分，但加入契约与验证后得分反而下降，且效果因宿主而异。研究结论

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

AI-AI偏见矩阵重分析：未发现模型偏好自身生成文本的证据

该研究重新分析Laurito等（PNAS 2025）的公开数据，检验大语言模型作为选择者时是否偏好自己生成的文本。通过重建三个5×5生成者-选择者矩阵并拟合双向固定效应模型，发现自身模型溢价在三个数据集上均不显著，合并数据中95%置信区间包含零。研究确认了原论文的主要结论——模型普遍偏好模型撰写的文本，但未发现模型识别并偏爱自身文风的证据。

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

长程语言智能体中的重尾记忆痕迹与CTWM控制器

Emory大学与东京大学的研究者提出对长程语言智能体外部记忆的「重尾痕迹」审计方法，发现有限上下文下记忆会集中于小核心并留下长尾，且该分布随策略不同而变化。基于此提出Core–Tail World Model（CTWM）控制器，按排名分配提示预算并保留摘要尾部。在Synthetic Graph World上提示token减少5.9%、尾部预测误差降低13.6

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

端侧命名实体识别：准确率、成本、可靠性与置信度的可部署性研究

该研究针对端侧命名实体识别（NER）的可部署性展开系统评测，覆盖经典标注器、双向编码器（GLiNER）与本地生成式LLM（Qwen3、DeepSeek-R1）三类范式、13M至8B参数共九个系统，在三个特性不同的数据集上同时报告准确率、延迟与输出有效性。研究发现，4B指令LLM在干净新闻文本上准确率具竞争力，但编码器以九分之一至二十四分之一规模实现毫秒级延迟

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

反向IRT用于碎片化癌症药物反应矩阵的稀疏稳健排序

该研究提出反向项目反应理论（reverse IRT），将癌症类型视为具有耐药能力的潜在主体、药物视为具有规避难度的项目，在共享潜在尺度上联合估计癌症类型体外耐药性与药物广谱活性。基于GDSC2数据库242,036条药物敏感性测量数据，在四种缺失机制下验证表明，反向IRT在60%缺失率时比简单平均更能恢复完整数据的潜在排序，并在五种方法中取得最佳Brier分数

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

语言模型生成彩票号码的重复集中现象研究

研究者在 arXiv 上发布论文，用 1-49 选 6 的彩票号码请求测试六种语言模型配置（gpt-5.6-luna、claude-sonnet-5、gemini-3.7-flash、grok-4.5、mistral-large、Perplexity sonar），共 1200 次调用中 1184 次返回有效号码。结果显示模型输出高度集中：有效多样性仅 9.

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

Praxa：面向受治理 AI 智能体执行的证据约束 harness

该论文提出 Praxa，一个面向 LLM 智能体执行的证据约束型 harness，通过确定性准入、代理执行、外部回读、对账与审核晋升，显式区分「提议、授权、派发、外部验证、对账、晋升」六种状态。作者报告四条证据线：仓库本地审计通过 1,027/1,027 单元测试与 89/89 Workerd 测试；Terminal-Bench 试点中基线与可靠性层各通过

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

AI生成软件的环境可复现性测量

该论文提出一个三层框架（声明依赖、运行时安装依赖、必要且充分依赖）来评估AI编码代理生成软件环境规范的能力。研究在3个生产级编码代理、4种语言生态和50个编程任务上测试，发现代理在依赖规范上存在系统性泛化失败，同一任务下不同代理的依赖集一致性低至7%，且新代理没有明显改善。最大分歧出现在声明层与运行时层之间，表明模型训练分布中的环境先验是主要驱动因素。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

LLM品牌推荐中的系统归因：单条回复可识别系统，聚合品牌画像无法迁移

该论文研究LLM品牌推荐中的系统归因问题，使用包含6,475条存储回复的语料库（来自五个部署端点，覆盖礼物推荐、企业声誉和品类归属查询）。研究发现，单条回复可通过字符n-gram分类器以97.84%准确率识别其来源系统，主要依赖答案的表面格式而非品牌内容；但将回复聚合为模型-领域-条件单元后，行为特征跨领域无法迁移，在一个领域训练的模型会将另一领域的全部单元

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

The Commons Lab 发布 27B 开源写作模型 Hemmingway-1

瑞士公司 The Commons Lab 在 Hugging Face 发布开源模型 Hemmingway-1，基于 Qwen3.8-27B 构建，27B 参数、262,144 token 上下文，采用 CC BY-NC 4.0 许可，仅限非商业使用。该模型主打日常写作场景（消息、邮件等），官方自建 CommunicationBench、Human-Like