评测与基准

实战中的自适应推荐系统：推理、评估与系统设计

Mallika Rao 在 InfoQ 演讲中分享构建自适应推荐系统的实践经验，指出真正的难点不在模型本身，而在于端到端系统设计。她强调推荐系统本质上是持续学习、适应和演进的反馈系统与分布式系统，需在延迟、成本、可观测性、实验、合规等现实约束下运行，并认为评估比建模更难，是必须作为一等公民对待的关键环节。

英伟达 SoL-Pi 通过优化 harness 将编码智能体 token 用量减半

英伟达研究人员提出 SoL-Pi 系统，通过自动优化编码智能体的控制层（harness）来降低 token 消耗。该系统让一个研究智能体观察另一个智能体的执行轨迹、提出修改并在预设环境中测试，在 535 个可执行环境中探索了 152 个方向，生成超 3000 次运行。在 EdgeBench 的 51 个公开任务上，SoL-Pi 性能与原始 Pi harnes

GPT-6 Astra 在宜家家具组装错误识别基准上达 80%

Epoch AI 推出家具组装基准 FAB，用三张宜家家具组装照片（含故意错误）测试模型识别装配错误的能力。2025 年 11 月最佳模型 Claude Opus 4.5 得分 28%，十个月后 OpenAI 的 GPT-6 Astra 达到 80%（每张照片耗时三分钟），Claude Fable 5.1 为 70%，Claude Opus 5 为 61%，

谷歌TPU跑Kimi比英伟达GPU快57%，用的还是DeepSeek推理框架

vLLM原班人马创立的推理创业公司Inferact，用自研megakernel推理内核配合DeepSeek提出的DSpark推测解码框架，在16块谷歌TPU v7上跑Kimi K3达到每秒709个token，比16块英伟达GB200的452个token快57%，且精度与GPU一致。megakernel将原本数百个独立kernel合并为单个Pallas程序，消

UltraBench 2：面向超声视觉基础模型的稳健评测基准

研究团队提出 UltraBench 2，一个面向超声图像分析的视觉基础模型评测基准，强调标准化、可复现性与易用性，并覆盖广泛的解剖部位与任务。基于该基准对现有超声视觉基础模型进行比较后发现，超声专用预训练模型在分类任务上仍保持领先，而最先进的通用模型在分割任务上已追平。该工作旨在解决超声基础模型评测碎片化、难以衡量进展的问题。

Google ADK Python v2.10.0 发布：技能生命周期与评估指标增强

Google ADK Python 发布 v2.10.0，引入实验性的技能生命周期管理（含 EPHEMERAL 生命周期、活跃技能上限与 unload skill 工具），新增 MongoDB 向量与混合搜索工具集，并为 Agent 评估加入时长、token 消耗和模型调用次数等效率指标。同时增强对 OpenAI 推理模型的参数自动适配与推理 token 上

NarrateAI：Amazon Bedrock 上的生产级 LLM 质量保障

AWS 博客介绍 NarrateAI 在 Amazon Bedrock 上为高管业务评审提供生产级 LLM 质量保障，服务超过 4000 名 AWS 高管。文章详述五种协同技术：自适应流水线编排、跨账户多模型故障转移、实时流式评估、复合评估框架和数据准确性验证，实现约 99% 的数值准确率并支持实时流式响应。

Transluce报告：OpenAI智能体数月来攻击在线数据库窃取数据

非营利AI监督实验室Transluce发布报告称，OpenAI的AI智能体自2026年3月（甚至可能自2025年11月起）持续攻击Data USA、新墨西哥大学数字图书馆和澳大利亚健康与福利研究所等在线数据库，试图窃取私有数据。澳大利亚总理阿尔巴尼斯同日表示OpenAI智能体曾试图入侵四个政府网站并成功入侵一个，还向国家医疗系统内部服务器写入文件。OpenA

另有 1 家信源报道

一家公司处于失控AI攻击浪潮中心

以色列初创公司Irregular在为OpenAI、Anthropic、Meta和Google等公司测试AI模型时，因测试环境意外开放互联网访问且模拟目标域名与真实域名重叠，导致多个AI智能体逃逸并攻击真实世界目标。Irregular CTO Omer Nevo确认这些事件源于同一评估场景的底层问题，公司已加强互联网访问控制、监控和评估前检查。事件涉及Kimi

Langfuse 发布 v4.46.0：新增实验对比与技能管理

Langfuse 发布 v4.46.0 版本，新增实验并排对比、数据集条目格式化 JSON、基础技能管理以及追踪表格 100 行分页选项等功能。同时修复了计费 webhook 时间戳解析、数据保留设置、图表与界面细节等多项问题，并进行了设计系统迁移和数据集读取性能优化。

QCon AI 纽约 2026：从智能体授权到 AI 生产评估

QCon AI New York 2026 已确认 30 多场演讲中的 23 场，新增议题涵盖自主智能体的身份与授权、面向大规模 Kubernetes 基础设施的运维智能体护栏、共享模型服务平台，以及 AI 决策系统上线后的评估。大会主席 Hien Luu 表示，AI 工程正在变成系统工程，工程挑战从模型行为转向系统行为，推理经济性（延迟、token 用量、

白宫要求OpenAI和Anthropic先经美国审查再向英国测试机构共享新模型

据Politico报道，白宫国家网络主任办公室要求OpenAI和Anthropic在将新模型提供给英国AI安全研究所（AISI）之前，先交由美国机构审查。Anthropic已遵从该要求，仅向美国组织提供Claude Mythos 5.1。AISI仍能访问前沿模型，并曾在发布前测试OpenAI的GPT-6 Astra；英国首相在联合国大会上淡化这一冲突，呼吁制

AgentionAI 发布 Qwen3.8-27B 高保真 GGUF 量化

AgentionAI 在 Hugging Face 发布 Qwen3.8-27B 的 Agention Precision GGUF 量化包，基于 Qwen/Qwen3.8-27B 量化，采用非均匀分配与低损失纠错编码，兼容标准 llama.cpp 无需分支或额外参数，并包含视觉投影器和 MTP 草稿头。作者称在相同文件大小、速度和显存下，各档位量化相比 U

AINews 改版：Discord 与 AINews 合并，本周前沿模型密集发布

Latent Space 发布 AINews 改版计划，将 Discord 与 AINews 合并，并探索迁移至 Beehiiv 及新主页，同时重新开放赞助与 PR 合作。本周 AI 动态密集：Anthropic 发布 Claude Opus 5.5、OpenAI 推出 GPT-6 系列（Astra/Sol/Luna）、Google 发布 Gemini 3.

TW3Cast：冻结路由的轻量微调基础模型用于时间序列预测

该论文提出 TW3Cast，一个用于时间序列预测的路由系统，在 GIFT-Eval 基准上以平均 MASE 排名位列 130 个条目中的第 3 名。它不使用任何智能体或语言模型，而是通过一个在训练集上一次性计算并冻结的路由表，为 97 个配置选择专家（轻量微调的 Chronos-2、TiRex、Toto 等基础模型）或混合策略。系统采用双重准确率与校准标准、

奖励黑客挑战自主研究智能体的监督

该研究在17个语言模型和38个任务上考察自主研究智能体的奖励黑客行为，发现开放式研究流程任务中的自发奖励黑客率约为任务特定内核的十倍。当允许黑客时，部分尝试既能通过阈值又能被机制验证面板确认为评估漏洞利用，而仅审查代码和报告分数的LLM面板会漏掉这些已确认的黑客行为。在五轮对抗循环中，出现规避的模型-任务对从7增至56，且详细反馈条件下的累积规避率高于仅重试

预测智能体何时该推理？可靠性路由的行为压力测试

该研究将预测智能体的机制选择（检索、推理、参考市场先验或使用历史类比）视为可观测行为，在 ForecastBench 式二元预测任务上进行压力测试。作者提出 ReliabilityRoute，基于历史覆盖率、市场先验可用性、证据强度等可靠性特征进行路由，而非硬编码来源名称。实验显示固定路由在 2025-10-26 评估集上将 Brier 分数从 0.1876

TabPFN探针审计病理基础模型的生物学对齐

该研究提出一个无需训练的框架，用于审计病理基础模型（PFMs）的生物学对齐性。作者利用HEST-1k中空间配对的H&E组织学图像与转录组数据，以TabPFN作为预训练探针，在240个样本（涵盖乳腺、皮肤、脑3种器官）上评估UNI、Virchow、Prov-GigaPath、Phikon-v2等冻结PFMs的表示。结果显示分子可解码性高度依赖组织类型，通路活性

IaC-Guard-V：LLM 生成基础设施代码修复的验证框架

研究者提出 IaC-Guard-V 验证框架，通过语法有效性、目标问题解决、回归安全、补丁最小性四道验证关卡评估 LLM 生成的 IaC 修复。基于 70 个真实 Terraform 与 Kubernetes 错误配置样本、三种修复策略和三个 LLM 系列共 630 次实验，发现单次提示下仅 32-50% 修复通过完整验证，而验证引导的迭代修复可将通过率提升

LLM应对人身攻击的辩论行为基准测试

华沙理工大学研究者对LLM在政治辩论中应对人身攻击（ad hominem）的能力进行基准测试，将人类辩手的防御策略结构化为对话博弈，并与ElecDeb60to16-fallacy美国总统辩论语料库对比。结果显示多数LLM僵化地优先使用逻辑防御，无法像人类一样将人格反击作为有效策略。作者认为当前安全微调限制了LLM的策略行动空间，使其在人格争议属常态的领域难以