Ponytail 技能修正自身基准，回应质疑并推动技能评估标准
开源技能 Ponytail 通过注入规则集，指导 AI 编码代理遵循 YAGNI 原则，避免过度工程化，自发布以来已获超 8.2 万 GitHub 星标。其原始基准声称减少 80-94% 代码，但遭质疑后作者重建基准，公开修正为平均减少约 54% 代码，并补充了行为测试框架。该事件凸显了 AI 技能缺乏评估标准的问题，Ponytail 的回应被视为更持久的贡
评测与基准
技术方向 · 模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1086 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月5日周三 · 5 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
AgentStream：评估自进化LLM代理在流式任务中的表现
AgentStream 是一个统一框架，用于评估自进化 LLM 代理在流式任务中的表现，通过将基准组织为可配置任务流，并实例化隔离、顺序和交错三种流式场景。研究发现自进化可靠性随场景变化，其收益受模型能力限制且非单调，没有单一方法在所有模型和场景中占优。该研究倡导在现实任务流而非孤立单任务设置中评估自进化代理。
正文结构化主题已通过公开置信门槛
Qwen3.6-27B 多阶段微调模型突破 ARC-C 700 分
DavidAU 发布了基于 Qwen3.6-27B 的多阶段微调模型 Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP，声称在 ARC-C 基准上首次突破 700 分，超越 OpenAI、Claude 和 Gemini 的闭源模型水平。该模型在 4bit 和 8bit 量化下均超过基座模型，
正文结构化主题已通过公开置信门槛
OpenAI 说明第三方网络安全评估事件并推出新保障措施
OpenAI 就近期涉及 OpenAI 模型的第三方网络安全评估事件作出说明，并提出了加强 AI 模型测试与评估的新保障措施。
正文结构化主题已通过公开置信门槛
删除回避：LLM 代码编辑中的隐藏缺陷及缓解方法
Hugging Face 每日论文发布了一项研究，指出大型语言模型在代码编辑中存在“删除回避”问题，即系统性地保留本应删除的代码。研究显示，在 SWE-bench Verified 基准上，五个领先模型对开发者补丁的删除召回率最高仅 71.7%，且 29% 的通过补丁采用“Guard-and-Go”模式，通过保留代码并添加守卫来通过测试。研究者构建了 Can
8月4日周二 · 13 条
正文结构化主题已通过公开置信门槛
GEOID-Flood：大规模多模态洪水分割基准数据集
GEOID-Flood是一个大规模多模态洪水分割基准数据集，基于Copernicus应急管理服务数据，覆盖65个国家219起事件，包含超过14,000个瓦片，提供配准的灾前/灾后Sentinel-1（GRD和RTC格式）、灾前Sentinel-2合成影像和DEM，并带有手动验证的标签。研究评估了基础模型与传统编码器在单图像、多时序和多模态协议下的表现，发现基
正文结构化主题已通过公开置信门槛
ICDAR 2026 竞赛：ALD/E 科学图表信息提取基准发布
ICDAR 2026 举办了一项关于原子层沉积/蚀刻（ALD/E）科学图表信息提取的竞赛，并发布了 Sci-ImageMiner 基准数据集。该竞赛吸引了 68 名参与者和 1263 次提交，结果显示多模态模型在分类和摘要任务上表现良好，但在数据提取和科学推理方面存在不足。该基准和竞赛为科学图表理解提供了评估平台。
正文结构化主题已通过公开置信门槛
LongHorizon-Harness：推进真实世界长时程智能体任务
LongHorizon-Harness 提出将长时程任务执行重构为任务状态管理问题，通过显式维护任务状态并仅用环境验证的事实更新，采用管理-执行-审计循环，显著提升了多个模型在 WeaveBench、Terminal-Bench 和 OSWorld 等基准上的表现。
正文结构化主题已通过公开置信门槛
WorldExam：从表观外观到内在反应性的世界模型基准
WorldExam 是一个用于评估可控视频生成模型作为世界模型能力的层次化诊断基准，涵盖视觉质量、控制遵循、空间一致性和世界反应性四个层级，包含 1,474 个测试案例和八项任务。对 20 个代表性模型的评估显示，不同驱动范式的模型在能力上存在明显分化，没有模型能同时兼顾广泛任务覆盖和稳定性能，表明高视觉质量和显式指令遵循并不保证内在反应性。
正文结构化主题已通过公开置信门槛
SWE-Touch：当用户修改代码时编码代理的基准测试
SWE-Touch是一个新框架，用于在共享工作空间中测试编码代理，通过注入与任务冲突的用户编辑来模拟真实开发场景。在SWE-bench Verified上，Counter-Edit使平均解决率下降7.7个百分点，并重新洗牌了模型排名。Claude Opus 4.8和GPT 5.5表现出较强的韧性，而开源模型在自主基准上表现良好但在协作场景中显著退化。结果表明
正文结构化主题已通过公开置信门槛
CoT-Core：通过思维链感知的核心集选择加速 LLM 评估
CoT-Core 是一种新的无需训练的 LLM 评估核心问题选择框架，通过提示 LLM 生成零样本思维链推理轨迹，并在潜在空间中对问题进行聚类，以逻辑等价性而非表面文本相似性进行选择。在 GSM8K、MMLU、MMLU-Pro 和 GPQA 上的实验表明，CoT-Core 能大幅降低评估成本，同时保持高保真度分数估计，且其有效性受任务复杂度的限制。
正文结构化主题已通过公开置信门槛
MetaRoute-Bench：评估智能体工作流路由的元决策策略
arXiv 发布论文《MetaRoute-Bench: Evaluating Meta-Decision Policies for Agentic Workflow Routing》，提出一个开放、可检查的基准框架，用于在共享执行模型下比较智能体工作流路由的元决策策略。基准包含 180 个合成任务、8 种路由策略和 30 对随机种子，在 43,200 条轨迹
正文结构化主题已通过公开置信门槛
HIERA：用于内容发现系统的层级多智能体相关性评估框架
arXiv 论文提出 HIERA，一种用于内容发现系统的层级多智能体相关性评估框架，包含四个专业智能体：相关性法官、查询分析器、条目分析器和关系分析器。法官决定何时需要专家分析，关系分析器协调查询和条目分析及外部知识以做出最终判断。消融实验表明，层级协调本身是性能提升的关键。在五个数据集上的评估显示，相比 11 个基线，HIERA 在 Home Depot
正文结构化主题已通过公开置信门槛
SafeBuild-Bench：面向建筑安全的时序鲁棒基准与图增强数据挖掘
SafeBuild-Bench 是一个用于评估多模态大语言模型在建筑安全场景下表现的新基准，基于超过10万条工业图像-文本记录构建，包含3314个任务实例。该基准引入了图增强多模态选择流程 GEMS，以从冗余数据中筛选信息量大的样本。当前最佳模型在基准上的得分约为60，表明现有模型在建筑安全理解方面仍不可靠。相关基准、评估脚本和代码已开源。
正文结构化主题已通过公开置信门槛
组合元路由学习：智能体工作流的可执行基准
该研究提出了一种可执行的基准测试和预算感知的元路由器，用于组合智能体工作流中的异构操作。基准包含216个训练、72个开发、108个测试和108个锁定词汇转移挑战任务，覆盖数据分析、冻结语料库研究和文档处理。学习策略在测试集上达到100%成功率，比静态工作流高6.5个百分点，成本降低43%；但在挑战集上成功率降至75.9%，落后于静态路由的93.5%，表明词汇
正文结构化主题已通过公开置信门槛
AgentMemBench：对话式 AI 代理长期记忆管理策略的系统性基准
AgentMemBench 是一个用于评估对话式 AI 代理长期记忆管理策略的统一基准，在相同条件下测试了五种策略（ICW、EKV、GEM、CBS、WAM），并使用三个公共数据集和 491 个标注问题进行了评估。结果显示，外部键值存储（EKV）在所有质量指标上表现最佳，尤其在长距离回忆方面显著优于其他策略，但代价是更高的内存占用。研究还评估了 MemGPT/
正文结构化主题已通过公开置信门槛
自然语言数学证明的低成本自动评判方法
该研究探讨了使用廉价开源权重模型作为自然语言数学证明的自动评判者。在IMO-GradingBench的200个实例验证样本上，三个廉价评判模型（GPT-OSS 120B、DeepSeek-V4 Flash、Gemma-4 31B）与人类通过/失败判断的一致性在统计上与Claude Opus 4.7和Gemini 3.1 Pro等前沿模型相当，但成本低至100
正文结构化主题已通过公开置信门槛
AI 反馈平台 DesignArena 获 790 万美元融资
DesignArena 的开发商 Intelligence 宣布获得 790 万美元种子轮融资，由 Index Ventures 领投。该平台通过众包人类反馈来评估 AI 生成内容，目前拥有 530 万用户，年经常性收入达 6000 万美元。其创始人表示，人类反馈是 AI 模型在设计领域改进的关键瓶颈，该平台已成为前沿实验室的重要数据来源。
8月3日周一 · 2 条
正文结构化主题已通过公开置信门槛
CAPA基准：跨会话个性化歧义适应提升编程助手效率
Hugging Face 每日论文介绍了一项关于编程助手个性化歧义适应的新研究。研究者提出了 CAPA 基准，通过六种机制刻画个性化编程歧义，并利用受控三阶段生成流程将其注入可执行任务，构建了包含 600 个编程会话的数据集。研究评估了 12 个近期大语言模型在无历史和有同用户历史条件下的表现，并提出了一种轻量级的同用户历史门控方法，以减少澄清次数并提升代码
正文结构化主题已通过公开置信门槛
ExtractBench：模式引导的企业文档提取基准
ExtractBench 是一个用于评估模式引导的企业文档提取任务的基准，包含 370 份企业文档、4869 页内容，覆盖 8 个业务领域和 67 种文档类型。该基准首次同时评估值准确性、记录完整性、溯源性和成本。研究发现商业 VLM 在短文档上表现良好但在长文档上会截断记录，而编码代理虽准确率高但成本更高，LlamaExtract Agentic Plus