存储预算下稀有物品召回:量化、蒸馏与教师保真度的局限
该论文研究在固定存储预算下,推荐系统应如何分配字节以保留稀有物品召回率。作者在七个数据集-骨干组合上比较了七种候选方案,发现将字节用于更高秩而非更高精度(如秩300、4比特量化)能保留教师模型95-103%的尾部召回率,而同等字节下秩40模型尾部召回最低。研究还指出,以教师命中保留率衡量压缩模型会误判尾部召回表现,建议用总尾部召回而非教师保真度来评估压缩推荐
技术方向 · 模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化 · 共 1078 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
该论文研究在固定存储预算下,推荐系统应如何分配字节以保留稀有物品召回率。作者在七个数据集-骨干组合上比较了七种候选方案,发现将字节用于更高秩而非更高精度(如秩300、4比特量化)能保留教师模型95-103%的尾部召回率,而同等字节下秩40模型尾部召回最低。研究还指出,以教师命中保留率衡量压缩模型会误判尾部召回表现,建议用总尾部召回而非教师保真度来评估压缩推荐
该论文提出将图像质量评估(IQA)从任务无关的分数回归转向以具身任务效用为目标的条件化判断,并给出基于多模态大语言模型(MLLM)的具身IQA智能体框架。作者通过VisDrone证据研究指出,传统感知指标和通用MLLM的IQA分数难以预测下游视觉语言模型任务的成功,而任务条件化的效用分数预测效果更好。论文主张IQA应面向具身、可解释和决策感知的视觉感知重新定
Latent Space 播客深入介绍了 Anthropic 如何用 Claude 构建 Claude,重点讨论 Opus 5.5 发布同时伴随的 API 变更,以及 Managed Agents 中「大脑与手」分离的架构:会话日志与 harness 同执行代码的沙箱解耦,从而提升可靠性、降低延迟,并让沙箱内不持有服务凭证以增强安全。节目还提到 Anthro
OpenAI 推出新模型 GPT-6.1 Terra,主打视觉推理、电脑操作和更自然的写作能力,标准 API 价格为每百万输入 token 1 美元、每百万输出 token 5 美元,较 GPT-5.6 Terra 和 GPT-6.1 Sol 低 50%。在 Agents' Last Exam 电脑操作基准上,其中等推理强度得分较 GPT-5.6 Terra
另有 3 家信源报道
Arm云AI解决方案架构总监Ravi Malhotra向媒体分享了Arm针对智能体AI的CPU性能测评方法论,并发布《如何为智能体AI定义CPU和软件栈性能》白皮书。该方法论将智能体任务拆分为Token生成(推理与规划)和基于Token采取行动(工具调用与编排)两个阶段,提出组件基准测试与端到端智能体基准测试相结合的评估思路。Signal65的独立报告显示,
Property Finder 的工程团队发现,其视觉 AI 评估数据集中 96.8% 的标签直接来自现有模型的预测,而非人工核验,导致评估结果系统性偏向旧模型,任何替代方案都显得表现不佳。他们与 AWS Generative AI Innovation Center 合作,由领域专家重新独立标注 356 张阿联酋房产图片,将单标签分类改为多标签分类,并采用
Hugging Face 用户 KikoCis 发布了 Qwen3.8-27B 的 GGUF 量化版本,并首次系统测量了量化精度对 agent 工具调用能力的影响。结果显示,2.93 bits/weight 的 IQ2 M 在 80 项工具调用任务中通过 79 项,是性价比最高的选择;而低于 2.23 bits/weight 的 1-bit 量化版本会严重失
Thomson Reuters 首席工程师在喜马拉雅山麓远程办公,因网络和电力不稳定,尝试用开源编码代理 OpenCode 配合 Ollama 在笔记本本地运行 Qwen3.5 9B 模型,实现完全离线的编码工作流。文章介绍了模型选型依据(LiveCodeBench v6 和 BFCL-V4 分数)、内存与下载体积权衡,并引用预印本对比 OpenCode、G
2026全球开发者先锋大会暨国际具身智能技能大赛在上海张江科学会堂落幕,汇聚300余家具身智能本体企业、200余家供应链企业及近6万人次线下参会者。大会推出“4+X”成果,包括十大实景赛道、具身智能评测体系与工具、张江南具身智能供应链平台及张江机器人谷标志建筑。大赛设三大领域九大赛道,800余支队伍、上千台机器人参赛,评出一等奖16项等,推动具身智能从技能展
研究者提出 UMAS,一个面向多智能体 LLM 系统(MAS)的系统级不确定性量化框架。该方法无需额外参数,也不增加推理成本:它根据每次生成的内在置信度估计智能体之间影响的可信度,并据此调节各节点不确定性的更新方式,再将节点级不确定性聚合为系统级估计。在 Debate 和 DyLAN 两种多智能体架构、GPT-4o mini 与 Llama 4 Scout
论文提出 Phronix,一种以能力为中心的智能体学习范式,让智能体从自身执行中获取、验证并精炼可复用能力。它通过预测器-验证器-纠正器循环,将 MCP 工具与技能提出的方案交由工具执行验证,并把结果蒸馏进能力库。实验显示,学到的能力首次尝试即可解决重复任务的比例达 93–95%,每任务自动产生 7.6–30.8 个持久能力,热启动每任务仅消耗 0.38–0
该论文研究预训练 LeWorldModel(LeWM)在 Reacher 和 OGBench Cube 环境中对小幅动作变化的局部动作几何保持能力。作者用 Gram 矩阵在三种扰动尺度下测量动作敏感性,发现最敏感动作方向的中位角度偏差分别约为 20° 和 30°,且扰动增大十倍会使归一化 Gram 差异下降约 70%(Reacher)和 47%(Cube)。
论文提出 PatEx-Gym,首个面向专利审查中新颖性评估的智能体搜索与推理框架,整合了 PatEx-Bench 基准(1K 真实审查任务、超 100 万专利与 5.2 万科学论文检索语料及支持迭代搜索的运行时)、无需人工标注的 PASS 轨迹合成方法(利用文档访问作为隐式相关性信号)以及基于合成轨迹监督微调的 4B 规模 PatEx-Agent。实验表明仅
该论文提出 ToolContractGate,一个面向 OpenAPI 派生 agent 工具的确定性运行时合约评估器,将存储的 OpenAPI 指纹与访问、schema 和行为声明组合成版本化 ToolContract。在 45 个合成用例(35 个不安全、10 个安全)上,完整流水线检出全部 35 个故障(29 BLOCK、3 REVIEW、3 WARN
该论文提出一个基准,用于衡量 LLM 智能体在“记忆”与“程序性技能”两类上下文来源发生冲突时如何裁决,并将这种无优先级的状态称为“epistemic parity”。作者构建了事实、格式、程序、权限四类冲突分类,实例化 52 个场景,在三个开源权重模型上运行 1,383 次测试。结果显示裁决结果取决于冲突类型、模型和注入顺序,而非来源语义;显式优先级指令只
研究者提出 SpecBuild,一个基于 LLM 的仓库环境搭建系统,通过“推测性分叉”把原本串行的试错流程改为并行探索:策略级分叉同时尝试不同基础镜像与依赖策略,命令级分叉在慢命令失败前预先准备修复分支,谁先成功就采用谁。在 Multi-Docker-Eval(334 个任务、40 个仓库、9 种语言)上,三种骨干模型下成功率比最强基线提升 6.4 至 1
香港大学数据科学实验室(HKUDS)提出多智能体框架 AutoSwarm,旨在解决多智能体协作中职责划分不清与依赖关系导致局部错误扩散的问题。该框架包含协作形成与执行协调两个组件,前者界定责任边界与结果验收条件,后者通过共享状态管理依赖与监督关系。在长程编程、交互式规划和金融分析实验中,AutoSwarm 优于单智能体基线和现有多智能体框架,代码已在 Git
乌拉圭共和国大学、巴黎萨克雷大学和岭南大学的研究者提出了一种面向历史文档转录的实体感知 OCR 评测方法,在 Berrutti 档案的 175 份文档基准上人工标注了 5,209 个实体提及,并比较了传统 OCR 引擎、专用 OCR 视觉语言模型和通用视觉语言模型。实验显示,OCR 系统排名会随评测标准变化:Qwen 3.6 在所有测试容差下实体覆盖率最高,
研究者 David Beauchemin 等人在 Hugging Face 上发布了 MeaningBERT 模型,用于评估两个句子之间的语义保持程度,可作为自动、可训练的评估指标。该公开版本使用训练 500 轮的最佳模型,并改进了数据增强方法,加入语义函数的交换律性质。模型提供模型卡、Metric Card 以及基于 transformers 和 eval
OpenAI 发布中端模型 GPT-6.1 Terra,API 价格仅为前代 GPT-5.6 Terra 的一半,输入每百万 token 1 美元、输出 5 美元,主打办公任务与自动化软件控制。Artificial Analysis 称其刷新了「每美元智能」基准,在智能指数上比前代高 6 分而单任务成本不到三分之一,并显著降低幻觉率。该模型达到 OpenAI
另有 3 家信源报道