评测与基准

CANDO：面向布局设计优化的协作式智能体网络

该论文提出 ALPS-Bench 基准，包含 1000 个专业标注的真实设施布局及基于结构化设计手册的评分协议，用于评估约束感知的布局生成。同时提出 CANDO，一个无需训练的多智能体协作框架，通过验证驱动的迭代循环精炼布局。CANDO 在 PubLayNet、RICO 和 PKU-PosterLayout 基准上超越了现有训练模型和基于 LLM 的基线，表

基于智能体原生可复用代码原语的大规模仓库工程

论文提出 Code Primitives（智能体原生的可复用可执行组件），每个组件自带接口契约、依赖闭包、验证测试和来源信息，并可通过常驻 LLM 作为自然语言接口适配目标仓库；这些组件被组织成可检索库 CodeFace。作者进一步提出 LEGO 流水线，通过检索激活、组件协作、诊断验证三机制协调组件完成仓库级构建，并发布 LEGO-REPO 基准（覆盖七个

Tokka-Bench：跨100种自然语言与20种编程语言评估分词器

研究者发布开源框架 Tokka-Bench，用于跨语言评估分词器质量，覆盖 100 种自然语言（30+ 种文字系统）和 20 种编程语言，采用语言感知的分词策略。该框架使用五个互补指标（每 token 字节数、唯一 token 覆盖率、子词生育率、词切分率、词表构成），并对比了 GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qw

Agent Skills下游效用的实证研究

该研究对87个SkillsBench任务进行实证研究，将下游效用定义为同一模型-执行框架配置下使用Skill与不使用Skill的通过率差异。研究发现同一Skill在36.78%的任务上对部分配置有帮助、对另一些配置有害，推荐流程可能成为执行负担，且相关性排序会忽略更有用的候选Skill。按所需操作支持重排序可在三种配置下将首选通过率提升4.35-5.80个百

VCR-Bench：视频分类鲁棒性模块化开源基准

研究团队发布 VCR-Bench，一个面向视频分类鲁棒性的模块化开源基准框架，旨在填补图像分类有成熟对抗鲁棒性评测而视频分类缺乏统一基础设施的空白。该框架统一了视频加载、分类器封装、对抗攻击与防御、感知指标、配置预设和结果日志，目前集成 30 个视频分类模型、14 种对抗攻击和 10 种防御方法，并在 Kinetics-400 子集上报告干净准确率、攻击成功

阅读位置是基线：个性化高亮预测的时间顺序评估

该论文在社交高亮平台上进行时间顺序评估，提出阅读位置是文档内个性化高亮预测必须超越的基线。实验显示，仅根据读者首次高亮位置排序句子，预测下一次高亮的Hit@5达47%，远超流行度（26%）和两种相似度方法（29%）。但针对所有后续高亮时，位置基线输给流行度，而按距离衰减的流行度基线表现最佳。论文强调个性化评估需按时间顺序并对照阅读位置，且相似度方法的增益可能

Claude Haiku 5.5 发布：跑分超 GPT-6 Luna，价格对标

Anthropic 发布 Claude Haiku 5.5 小模型，官方跑分逐项超过 GPT-6 Luna，并超越 DeepSeek V4.1 Flash 和 GLM-5.3-Flash，成为新的小模型守门员。价格对标 GPT-6 Luna，10 万 token 以内请求输入输出价格较上代 Haiku 4.5 砍 90%，但更换 tokenizer 后同任务

另有 1 家信源报道

CrewAI 发布 1.15.24：新增 eval 命令与 Oracle 集成

CrewAI 发布 1.15.24 版本，新增 crewai eval 命令可在由 agent 运行时打印 markdown 简报，并支持 --models 与 llm overlay 切换模型和角色。该版本还加入实验性的 turn/reply 身份、job 生命周期与 runner，以及 Oracle 集成，同时修复 CLI 训练文件名报错、human f

《怪物史莱克》编剧加盟的AI影视公司，视频模型全球第二

独立评测机构Artificial Analysis发布最新文生视频榜单，阿里Wan 3.0排名第一，AI原生影视公司Utopai Studios的模型Utopai X以1150分位列第二，仅差7分。Utopai X以MiniMax开源的视频模型H3为底子进行后训练，在音频同步、运镜控制和物理等7项能力上超过基座。公司同时推出制片平台PAI，并已预售部分国际发

超越后继精度：推荐递归自我改进中的状态保留

该论文提出推荐系统递归自我改进（Rec-RSI）中的状态保留问题，指出仅用最新模型评估每轮更新会忽略跨代模型间的互补排序决策。作者定义跨代优势（CGA）来量化这种分布式进展，并用无标签的排名分离统计量预测应保留哪一代模型。在四个数据集和三种序列推荐编码器上，所选模型家族在34/36条轨迹中优于直接后继模型，但五种迁移机制无法稳定复现这些增益。

TEMPEST：基于角度间隔学习的时间嵌入实现可扩展驾驶员识别

研究者提出 TEMPEST，一种基于时间卷积网络并用 ArcFace 加性角度间隔损失训练的驾驶行为嵌入模型，将 60 秒多模态驾驶窗口映射为 96 维嵌入。在 45 名驾驶员的 DriverID 数据集上，其 Rank-1 准确率达 91.71%，比最佳经典模型高 17.9 个百分点，比最强 triplet-loss 基线高 58.4 个百分点；驾驶员池从

SGAnalog：基于开源流片的端到端模拟电路基准

研究者发布 SGAnalog，一个基于 Tiny Tapeout 开源流片、包含 273 个拓扑不同顶层设计的端到端模拟电路基准，用于评估模型从原理图恢复网表及器件尺寸设计的能力。在 66 个转录任务上，最强模型仅达 56.1% 精确图同构，且多数模型从小规模到中规模任务性能骤降；在 17 个尺寸任务上，领先模型全部收敛并得 91.2 分，但两个最新 Cla

医学图像对齐评估：前沿多模态模型通用视觉推理测试

该研究将医学图像对齐评估作为检验前沿多模态大模型通用视觉推理能力的测试任务，评估了多代MLLM在两种医学图像对齐任务上的表现，并对比了本地微调小模型和任务专用CNN。结果显示，仅几个月前发布的模型泛化能力差、部分场景接近随机水平，而GPT-6在几乎所有测试场景（包括零样本）中准确率超过85%。微调本地模型在训练任务上可匹敌或超越前沿模型，但迁移到未见场景时效

Proxy Confidence：用代理模型对数概率审计黑盒 LLM Agent

该论文提出一种名为 Proxy Confidence 的黑盒 LLM Agent 审计方法：由于前沿聊天 API 隐藏 token 概率且模型近乎确定性导致自一致性失效，作者用一个低成本开源权重代理模型并行读取相同上下文、schema 和候选动作，通过 teacher forcing、request-PMI、判别式判定和工具选择竞争等互补读出方式，从代理模型

RAGFlip：衡量检索器升级中的查询级负翻转

该论文提出 RAGFlip 方法，用于衡量检索器升级时在查询级别出现的负翻转（negative flips），即 BM25 原本能检索到相关段落的查询在替换检索器后失败的情况。研究在 Natural Questions、HotpotQA 和 FiQA 三个 BEIR 数据集上评估 BGE-large、E5-large-v2 和 SPLADE，发现所有替换检索

面向规格驱动开发的 EPIC 框架

该研究提出 EPIC 框架，用于指导面向编码智能体的规格驱动开发（SDD）。研究者依据 ISO/IEC/IEEE 29148 标准对 114 个开源 SDD 仓库的规格文档打分，并从高分样本中提炼出 40 项实践，归入 10 个质量维度与 4 个类别（Expressive、Precise、Interpretable、Compartmentalized）。研究

面向连贯多图 SysML 模型的验证数据集与基准

该论文发布了 SEMAADB，一个包含 3000 个工程上下文和 15000 张 SysML 图的数据集与基准，每个上下文含需求、块定义、活动、状态机、序列五个相互关联的视图。作者对图集进行了一致性与渲染校验，并人工验证 100 个上下文作为测试集。评估三个语言模型在图表修复和跨图更新任务上的表现，结果显示语法修复已接近解决，但语义修复和跨图一致性仍是难题。

ALIVE：面向首帧引导视频编辑的交互对齐物体插入

研究者提出 ALIVE 框架，用于首帧引导的视频编辑，使插入的物体能与原视频内容产生连贯交互（如被拿起或操作）。他们构建了 35,800 对编辑数据，结合 3D 渲染、模型生成和真实视频，并训练 VLM 从相同输入预测交互引导。在 ALIVE-interaction 基准和通用视频物体插入基准上，ALIVE 的 Overall 指标分别比最强基线提升 43.

EldanRing 发布 Winnow-E4B 类型化决策微调模型

EldanRing 发布了 Winnow-E4B，这是基于 google/gemma-4-E4B-it 微调的紧凑型模型，用于类型化决策、聊天和图像输入。模型以 GGUF 格式提供，可直接本地推理，无需单独下载适配器或基础模型。在公开评测中，Winnow-E4B Q8 在 JevBench 上达到 80.52%，在 Kev v9 clean 上达到 72.6

AI的失误与失败带来的启示

微软研究院播客中，合伙人研究经理Jennifer Neville与应用科学家Chad Atalla对话，讨论评估如何推动AI系统性能边界以满足用户需求，以及模型在传统基准之外测试时出现的“意外失败”。Neville还分享了使用当前AI系统的实用建议，并强调当结果出乎意料时仔细审视数据的重要性。