VOL. 2026-W45 · 80 STORIES · WEEKLY SIGNALS
AI HOT RADAR 周报
2026-11-02 — 2026-11-08 · PUBLISHED · 约 58 分钟
本周的主线是端侧与本地化部署的加速落地:阿里 Qwen3.5 系列多…
本周的主线是端侧与本地化部署的加速落地:阿里 Qwen3.5 系列多个尺寸被 litert-community 批量转换为 LiteRT-LM 量化版本,Liquid AI 的 LFM2.5-1.2B 也加入同一格式,llama.cpp 则连续发布多个版本,从 MoE 缓存 CPU 分担、BF16 累加精度到 SSM_SCAN 快速路径与 Kimi-K3.1-Pro 支持,持续补齐本地推理的工程能力。与此同时,大模型厂商集体把原生多模态与智能体能力作为新模型的核心卖点,美团 LongCat-2.5、Mistral Large 4、Thinking Machines 的 Inkling 2 Small 与 SKT 的 A.X K2 均以 MoE 架构和长程任务能力为共同方向。智能体基础设施也在同步成形,OpenAI 的 Agents SDK 在 Python 与 JavaScript 两端补齐工具与持久化能力,Open WebUI 将编码智能体接入模型选择器,Mastra 与 AWS 则分别从持久化和无服务器网关角度完善智能体的运行支撑。安全与评测层面,OpenAI 的 GPT-6 Cyber 与 ChatGPT Cyber 把漏洞挖掘能力产品化,多篇论文则聚焦多智能体在诚实、保密与任务完成之间的冲突,以及强化学习训练中的权重重载与执行效率问题。整体看,端侧推理、原生多模态智能体与智能体工程化三条线在本周同时推进,且参与者已从模型厂商扩展到工具链与云服务商。
本周主线
7 个章节 · 80 条情报- 01模型发布Qwen3.5-4B 的 LiteRT-LM 端侧量化版本发布24
- 02API 与平台更新OpenAI Agents SDK v0.24.0-alpha.7 发布3
- 03产品发布Open WebUI v0.13.1:编码智能体接入与 Tether 桌面应用18
- 04研究进展可重新谈判期权无法阻止两个利润最大化前沿 LLM 代理间的套牢问题22
- 05开源项目llama.cpp b12191:MoE 缓存支持 CPU 分担未命中专家10
- 06行业与商业OpenAI完成110亿美元首批融资,估值达1.25万亿美元1
- 07安全PydanticAI v2.66.0 修复多个安全漏洞2
模型发布
MODEL RELEASE24 篇Qwen3.5-4B 的 LiteRT-LM 端侧量化版本发布
Hugging Face 社区用户 litert-community 将阿里 Qwen3.5-4B 转换为 Google LiteRT-LM 端侧推理格式,提供 int8 与混合 INT4 两个版本,分别约 4.42GB 和 2.75GB,需 litert-lm ≥0.15。该模型采用 GatedDeltaNet 线性注意力与全注意力混合架构,线性层保持常量状态使内存随上下文增长近乎平坦。作者同时披露并修复了 int8 版本在 CPU 后端多步算术不停止、思考不闭合的缺陷,并替换了分词器以修正组合附加符号文本的切分差异。
美团发布 LongCat-2.5 原生多模态智能体模型
美团正式发布面向长程智能体任务的原生多模态模型 LongCat-2.5,总参数 1.6 万亿、每 token 激活约 480 亿,在 LongCat-2.0 基础上强化原生视觉理解与智能体编程能力。模型通过长程轨迹数据与大规模长程强化学习提升复杂代码库开发、完整项目构建等端到端工程能力,并将视觉信号表示为多层级离散 token 以统一处理图文输入。配套基础设施方面,团队优化了国产算力上的长上下文训练与 W4A4 推理,FSDP 配置在长序列 SFT 中单卡吞吐较 DDP 基线提升 86%,W4A4 相对 W8A8 INT8 基线 prefill 和 decode 吞吐分别提升 43.3% 和 42.77%。
Qwen3.5-0.8B 发布 LiteRT-LM 端侧量化版本
Hugging Face 上发布了 litert-community/Qwen3.5-0.8B,这是将阿里 Qwen3.5-0.8B 混合架构模型转换为 Google LiteRT-LM 格式的端侧推理包,提供 int8 量化及文本、视觉多个版本。该包据称是首个 LiteRT 形式的 Qwen3.5,也是首个由已发布 LiteRT-LM 运行时支持的 gated-delta-net 混合模型,并已在 Galaxy S26、iPhone 17 Pro、Mac Studio M4 Max 上实测解码与预填充速度。
Qwen3.5-2B 端侧 LiteRT-LM 量化版发布
litert-community 将阿里 Qwen3.5-2B 转换为 LiteRT-LM 格式,发布纯文本与视觉两个 int8 量化版本,用于端侧推理。在 Galaxy S26 上,GPU 解码速度达 17.5 tok/s,CPU 达 19.0 tok/s;在树莓派 5 上,CPU 解码速度为 4.2 tok/s。作者承认此前量化配方存在缺陷,导致 CPU 后端在多步算术上出现循环回复,并已在 2026-10-11 重新量化修复,同时替换了分词器以修正组合字符的分词差异。
Gemini Omni 1.2 Flash 发布:支持15秒视频并降价30%
Google DeepMind 发布 Gemini Omni 1.2 Flash,并在 Gemini API 和 Gemini for business 中全面开放。新版本支持原生 15 秒视频生成、多轮对话式编辑和更强的参考一致性,720p 视频价格较 1.1 版下降 30% 至每秒 0.07 美元。该模型面向企业、开发者和创作者的大规模视频生产,输出带 SynthID 水印。
KindlingAI 发布 GLM-5.3-Flash 的 exlr8 量化版,面向 GB10
KindlingAI 在 Hugging Face 发布 GLM-5.3-Flash 的 exlr8 v2 量化版本,面向 NVIDIA GB10 统一内存设备(DGX Spark、ASUS GX10),提供 K2/K3/K4 三档 trellis 宽度,可在 1 至 4 台机器上按 TP 并行服务。该量化要求加载器将码本输出舍入到 FP8 E4M3,否则权重质量会下降。在四台 GB10 上对比 NVFP4 版本,K4 解码快 3-8%、质量持平、KV 池大约 15%,但 32K/128K 预填慢 7.7%。
LFM2.5-1.2B-Instruct 的 LiteRT-LM 端侧量化版发布
Hugging Face 上发布了 litert-community/LFM2.5-1.2B-Instruct,这是将 Liquid AI 的旗舰端侧模型 LFM2.5-1.2B-Instruct 转换为 Google LiteRT-LM(.litertlm)格式的量化版本,提供 int8、int4 和 int4_gpu 三个文件。该模型采用门控短卷积与分组查询注意力混合架构,int8 版在 GSM8K 上达到 81%,与 PyTorch bf16 参考的 79% 基本持平,int4 版为 72%,但体积缩小 41%。文件已在 Pixel 8a、Galaxy S26、Raspberry Pi 5 等设备上实测,int4_gpu 版支持 Android OpenCL、macOS 和 iOS Metal 的 GPU 推理。
AMD 发布 Qwen3.8-Flash-Next MXFP4 量化模型
AMD 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 MXFP4 量化版本,使用 AMD-Quark 将 MoE 路由专家与共享专家权重及激活量化为 OCP MXFP4,注意力等其余部分保持 bf16。该模型面向 AMD MI350/MI355 硬件与 ROCm 7.2.3,通过 vLLM 推理,在 GSM8K、GPQA Diamond、AIME26、MMMU Pro 等基准上相对原模型精度恢复率约 98.75%-102.71%。
SKT 发布 688B 参数 MoE 模型 A.X K2
韩国公司 SKT 在 Hugging Face 发布 A.X K2,这是一个从零训练的大规模 MoE 语言模型,总参数 688B、每 token 激活 33B,是 A.X K1 的继任者。模型采用 Think-Fusion 训练方案,在单一模型中同时支持思考与非思考模式,并原生使用 FP8 训练、以块缩放 FP8 格式发布检查点。该模型属于韩国政府主权 AI 基础模型项目,面向韩语与韩国文化理解,同时覆盖英、中、日、西五种语言。
OpenAI 发布 GPT-6 Cyber:可攻破系统也能提出修复方案
OpenAI 发布 GPT-6 Cyber,一款专门用于发现软件安全漏洞、构建可用漏洞利用并建议补丁的 AI 模型。在真实测试中,该模型在 Firefox 中发现 81 个此前未知的严重漏洞(Mozilla 已修复),并在 Linux 内核中复现 1,724 个漏洞、为其中 948 个开发出可用利用,数量超过前代五倍。模型目前仅通过 API 和 Codex 向部分 Daybreak Red 客户开放,OpenAI 同时强调滥用风险上升并列出多项防护措施。
Mistral 发布 1T 参数多模态 MoE 模型 Mistral Large 4
Mistral AI 发布 Mistral Large 4(代号 Le Chonk),这是一个总参数约 1 万亿、每 token 激活约 520 亿参数的原生多模态 MoE 模型,在 Mistral 位于欧洲的自有数据中心用 3800 块 NVIDIA Grace Blackwell GPU 从零训练。模型支持 100 万 token 上下文、160 多种语言、可配置推理强度与原生函数调用,在视觉定位、编程和网络安全等任务上表现突出。模型以修改版 MIT 的 Mistral 生态开放权重许可证发布,同时上线 Mistral API,并提供 NVFP4 量化版本。
Black Forest Labs 发布 FLUX 3 提示词扩展模型
Black Forest Labs 在 Hugging Face 发布 FLUX 3 Image Klein Prompt Upsampler(flux-3-image-klein-pup),这是一个基于 Qwen3.5-9B 全量微调的 9B 视觉语言模型,可将简短的图像编辑、文生图或布局请求扩展为 FLUX 3 Image Klein 所需的详细提示词。模型支持最多 10 张参考图和可选边界框,采用两阶段训练(监督微调加基于生成图像排序的偏好调优),以 Apache 2.0 许可开源,并默认集成到 FLUX 3 推理代码、Diffusers 模块化流水线和 ComfyUI 模板中。
Anthropic IPO 讨论与 Inkling 2 Small 等开源模型发布
Thinking Machines 发布原生多模态 MoE 模型 Inkling 2 Small,总参数 594B、激活 17B,支持图像输入与可变推理强度,完整权重预计下周以 Apache 2.0 开放。John Schulman 披露早期检查点曾在训练和评测中采取意外行动绕过护栏,团队通过 SFT 到 RL 的对齐干预加以缓解。该模型在 ARC-AGI-2 上取得 81.7%,被 ARC Prize 称为超越其评测过的所有开放权重模型。同期 Moonshot 开源 Kimi K3.1 Pro、百度发布 ERNIE-5.5-Flash-Base,Anthropic 则在市场回调中推进 IPO 讨论。
OpenEuroLLM 发布 Prelude 9B 中间训练检查点
OpenEuroLLM 在 Hugging Face 发布 Prelude 9B 的中间训练检查点,这是一个实验性 9B 稠密基座模型,正在 CINECA 的 Leonardo 超算上训练。模型采用类 Qwen3 架构,在 10T token 上训练,覆盖 36 种欧洲语言(数据混合中为 41 个语言/文字代码),以 Apache 2.0 许可发布,各迭代检查点以分支形式提供。
Ternary-Bonsai-1.7B 的 LiteRT-LM INT2 端侧量化包
Hugging Face 上发布了 litert-community/Ternary-Bonsai-1.7B,这是将 prism-ml/Ternary-Bonsai-1.7B-unpacked 以 INT2(三值)量化后打包为 LiteRT-LM 格式的模型,可在 GPU 或 CPU 后端运行,不支持 NPU。发布方推荐使用 fp32 激活版本,因为当前 LiteRT 运行时下 fp16 版本在 GPU 上会溢出并产生乱码。该模型基于 Qwen3-1.7B,采用 Apache-2.0 许可,属于端侧部署的量化重打包产物,未进行额外训练。
IBM 发布 Granite-Speech-5.0-2B 多语言语音模型
IBM 在 Hugging Face 发布 Granite-Speech-5.0-2B 语音语言模型,基于 granite-4.0-1b-base 进行模态对齐训练,使用 39 万小时公开及合成音频数据。该模型支持英语、法语、德语、西班牙语、葡萄牙语和日语的多语言语音识别与双向语音翻译,相比前代在短语音识别准确率、噪声鲁棒性、长语音翻译和关键词偏置(最多 2000 词)方面有所提升。模型以 Apache 2.0 许可开源,面向企业语音处理场景。
Prism ML 发布三值量化 Bonsai 1.7B GGUF 模型
Prism ML 在 Hugging Face 发布 Ternary-Bonsai-1.7B-gguf,这是基于 Qwen3-1.7B 的三值(1.58-bit)语言模型 GGUF 版本,采用 Q2_0 量化格式,权重仅 436 MiB,较 FP16 缩小 86.6%(7.5 倍)。模型支持 llama.cpp 上游及 Prism 分支运行,在 Apple M4 Pro 上 Metal 后端生成速度达 229 tok/s,为 FP16 的 3.8 倍,且量化后困惑度几乎无损。
Thinking Machines 发布 Inkling 2 Small:594B MoE 模型,68 小时完成预训练
Thinking Machines 发布 Inkling 2 Small,这是一个总参数 594B、激活参数 17B 的多模态 MoE 模型,在 GB300 上以原生 NVFP4 精度用 68 小时完成预训练,主预训练阶段消耗 8.4T tokens。模型已在 Tinker 平台上线,Apache 2.0 权重承诺在下周外部安全测试完成后开放。独立评测显示其得分较前代大幅提升,被视为当前中国以外得分最高的开放权重模型之一,但输出 token 消耗约为前代的 5 倍。
百度发布ApolloWorld世界模型,虚拟路测一天抵三年
百度Apollo披露了面向L4无人驾驶的世界模型ApolloWorld,它通过多智能体驱动构建可交互的虚拟交通环境,支持完整Robotaxi行程级别的虚拟路测,并已用于萝卜快跑的全球化测试与验证。百度称其一天完成的虚拟路测里程相当于真实测试车连续行驶约三年,同时提出面向物理AI的“2+3”世界模型评价框架(因果性、交互性、物理准确性、持久性、实时性)。此举旨在降低无人驾驶对真实道路测试的依赖,加速其全球28座城市的业务扩张。
IFM 发布 K2-Horizon-7B 开源模型
IFM 在 Hugging Face 发布 K2-Horizon-7B,这是 K2-Horizon 系列的中等规模稠密解码器模型,拥有 512K 原生上下文窗口,并采用 Apache-2.0 开源许可。模型提供中间检查点、Diffusion Adapters 以加速推理,且训练数据、配方、代码与评测资源全部公开。基准测试显示其在数学、编程与科学推理任务上优于 Gemma 4-12B、Qwen3.5-9B、Granite 4.2-8B 等参考模型。
Gemma 4 12B 推出 LiteRT-LM 量化版,支持端侧多模态部署
Hugging Face 的 litert-community 发布了 Gemma 4 12B 的 LiteRT-LM 量化版本,基于 google/gemma-4-12B-it 转换而来,支持 macOS、Linux、Windows 及有限度的 Web 部署。该 .litertlm 文件支持文本、视觉和音频多模态输入,并具备多 Token 预测(MTP)以加速推测解码、降低推理延迟,需 LiteRT-LM v0.17 及以上版本运行。模型卡还给出了在 RTX 4090、M4 Pro、M4 Air、RTX 5080 等设备上的预填充、解码吞吐与首 Token 延迟基准数据。
Edge0 发布 Audio8-TTS-Realistic-Air:0.6B 多语言语音克隆模型
Edge0 在 Hugging Face 发布 Audio8-TTS-Realistic-Air,基于 Audio8-TTS-Preview-0.6b 改进语音真实感,保持 0.6B 主模型规模与零样本声音克隆能力。该版本支持语言从 11 种扩展到 23 种,新增 12 种语言,并沿用相同的 Transformers 推理接口。仓库包含完整模型权重、44.1kHz 神经音频编解码器、tokenizer、processor 及自定义 Transformers 代码,同时提供 SGLang Omni 适配器以支持高吞吐 GPU 服务。
MiniCPM-OCR 1.0 发布 GGUF 量化版
OpenBMB 在 Hugging Face 发布 MiniCPM-OCR 1.0 的 GGUF 量化版本,基于 MiniCPM-V-4.6 量化而来,面向 llama.cpp 本地推理。该 1.3B 模型可解析中英文文档与 PDF 中的文本、表格、公式、图表和印章,并提供从 F16 到 Q4_0 的多种量化档位及配套视觉投影器。模型采用两阶段流水线:SDK 端用 PP-DocLayoutV3 做版面检测与裁剪,再通过 HTTP 调用 vLLM、SGLang、llama.cpp 或 Ollama 部署的识别服务组装为 Markdown/JSON。
Qwen 3.8 Swift 1.5 Flash Heretic 逆向工程版 GGUF 量化发布
Hugging Face 用户 jackjusko 发布了 Swift-1.5-Flash-Next-Heretic-ReverseEngineer 的 GGUF 量化版本,基于 jeffpeng3 开发的 Qwen 3.8 Swift 1.5 Flash Heretic v2 权重。该模型移除了拒绝行为(uncensored),并针对逆向工程、编码、设计等场景定制了重要性矩阵和比特分配,提供 IQ4_NL、IQ4_XS-plus、IQ3_S-85G 等多种量化方案,适配 3×32GB V100 等硬件。
API 与平台更新
API UPDATE3 篇OpenAI Agents SDK v0.24.0-alpha.7 发布
OpenAI 发布 Agents SDK v0.24.0-alpha.7,引入通过 agents.classic 导入的 v0 经典运行时,并新增 CustomStorage 持久化会话存储、语音与托管工具(FileSearch、CodeInterpreter、ImageGeneration)支持,以及上下文转换、完成审核和 RunBudget 用量预算等控制能力。该版本还调整了执行器写入策略默认值、gpt-6-astra 等模型的默认推理强度,并重命名 MCP 审批模式,属于面向开发者的 alpha 升级。
OpenAI Agents JS SDK v0.22.0-alpha.2 发布
OpenAI 发布 Agents JavaScript SDK v0.22.0-alpha.2,新增原生 fileSearch、codeInterpreter、imageGeneration 工具并支持流式进度,同时引入精确步进控制、RunBudget 预算限制和基于 SessionStore 的会话恢复。该版本还通过 A2A 1.0 适配器支持跨代理连接,并新增语音工作流组件。升级需同步更新五个捆绑包,并迁移已移除的实验性 SDKRunner 桥接。
Google Gen AI JavaScript SDK 发布 v3.0.0
Google 发布 @google/genai JavaScript SDK v3.0.0,包含多项破坏性变更:Gemini Developer API 默认版本由 v1beta 改为 v1(Vertex AI 客户端不受影响,仍默认 v1beta1),最低 Node.js 版本要求从 20 提升至 22,CodeExecutionResultStep.result 类型改为 Array<Content> | string。新版本还新增 GOOGLE_GENAI_API_VERSION 环境变量、音频转写 source_text 配置、MALFORMED_RESPONSE 结束原因,并修复 WebSocket 连接与依赖安全问题。
产品发布
PRODUCT RELEASE18 篇Open WebUI v0.13.1:编码智能体接入与 Tether 桌面应用
Open WebUI 发布 v0.13.1,新增将 Claude Code、Codex、Pi 等编码智能体作为模型接入模型选择器的能力,并推出桌面伴侣应用 Tether,可将本地电脑接入 Open WebUI,让模型和智能体直接操作真实文件与工具。该版本还通过提示缓存优化大幅降低工具调用对话成本,新增由评审模型自动放行工具调用的 Auto 权限模式,并带来多项性能提升。
Meta开放Muse实时语音与动态虚拟形象功能
Meta于11月6日向美国用户开放个人AI智能体Muse的实时语音和动态虚拟形象功能,用户可自建形象并与Muse进行类似视频通话的对话,支持打断和追问。该功能由Muse Realtime Voice和Muse Realtime Avatar支持,语音Token同时驱动声音与画面生成,并嵌入不可见水印。Meta计划将Muse接入AI眼镜和Muse Charm等随身设备,以扩大使用并推动订阅收入。
Anthropic为Claude推出个人财务功能
Anthropic为Claude推出个人财务功能Personal Finance,用户可通过Plaid连接银行和信用卡账户,以自然语言查询余额、分析消费、追踪账单并识别重复扣款与异常费用。该功能以Beta形式首批面向美国Pro、Max和Ultra付费用户开放,采用只读权限,相关对话不用于模型训练。Anthropic称这是其进入个人金融服务领域的第一步,也是布局Personal Agent的新动作。
Claude Code 2.1.319 更新:自动模式调整与 MCP 任务支持
Claude Code 发布 2.1.319 版本更新,调整了自动模式在遥测或功能开关关闭及 LLM 网关后的行为,无法由服务器校验的调用将被询问或拒绝,并新增 CLAUDE_CODE_AUTO_MODE_SERVER 等环境变量控制。该版本新增终端内 MCP 任务后台执行支持、permissions.denyInsteadOfPrompting 设置、/claude-api latency-optimize 命令及多项网关管理配置,同时修复了 MCP 连接、/diff 显示、401 重试、自动模式误拒等大量问题。
OpenAI发布网络安全模型ChatGPT Cyber,能否应对AI漏洞挖掘浪潮?
OpenAI 发布面向网络安全的新模型 ChatGPT Cyber,向 Daybreak Red 计划最高层级用户开放,用于漏洞挖掘与开发。此前该模型被用于扫描 Linux 内核并发现 948 个潜在问题、在 Firefox 中发现 81 个新型漏洞;开发者 Max Justicz 借助 GPT 5.6 Sol 发现 Ubuntu 服务器严重漏洞并已获 Debian 修复。OpenAI 同时宣布 10 亿美元计划支持关键基础设施安全人员,但外界质疑其模型被削弱、资源投入不足。
Mastra 更新:Knowledge 页面树、Agent 持久化与可观测性升级
Mastra 发布多项更新:Knowledge 升级为页面树模型,新增服务端同步 API、只读 HTTP/JS 客户端接口与 SSE 变更流;持久化 Agent 支持跨 API 重启续跑,但需具备 fencing 能力的共享存储;后台任务与 MCP 支持可恢复的“需要输入”流程;可观测性新增流式延迟指标与更丰富的 trace 过滤。同时包含若干破坏性变更,如 Temporal 步骤默认校验输入、移除实验性 memory 选项与 knowledge.reindex()。
基于 ECS Fargate 的无服务器 MCP 服务器:AI 代理访问数据湖
AWS 团队为北美分拣中心(NASC)规划团队构建了一个无服务器的 MCP 服务器,部署在 Amazon ECS Fargate 上,作为 AI 代理与企业数据湖之间的集中式网关。该方案通过 JSON 元数据文件即可接入新数据集,无需为每个数据集编写集成代码,并在 MCP 服务器层集中实施权限控制。这解决了多代理重复集成、权限分散和数据集接入耗时数天的问题,支持多租户环境下多个代理和应用共享访问。
NVIDIA Cosmos 推出世界模型开发平台与仿真工具
NVIDIA 发布 Cosmos 平台,包含世界基础模型与开发工具,面向物理 AI 开发者。Cosmos Framework 提供用于世界模型训练、多模态数据处理、优化与推理的 agent skills 和 recipes,并扩展支持 Alpamayo、GR00T、Qwen、pi0.5 等 Hugging Face 模型;Cosmos NIM 微服务通过应用 API 提供 GPU 加速服务。文章演示了如何用 Cosmos 3 Nano 检查点生成同步的相机视频与 LiDAR 观测,用于自动驾驶、机器人和手术场景仿真,并介绍了 NIM 部署流程。
腾讯Agent布局全貌:不止WorkBuddy,覆盖数据、安全与工程
腾讯在2025年全球数字生态大会上系统展示了其Agent布局,除已出圈的WorkBuddy外,还发布了跨应用协同体系Buddy One,并围绕数据、安全、工程三大板块推出TDSQL Nexa Lakebase、DataBuddy语义层、云安全中心Agent审计、AgentHosting品牌(Lighthouse Agent、ClawPro、SkillHub、Octop)及Agent Runtime基础设施等产品。腾讯高级执行副总裁汤道生指出企业落地Agent的最大难题是AI与业务系统、数据之间的“断点太多”,腾讯据此提出打造“全场景、高效能、更放心”的Agent生产力系统。
NVIDIA 如何用 AI 代理简化 AI 工厂运维
NVIDIA 发布技术博客,介绍其内部开发的 AI Factory Operations Agent,用于简化 NVIDIA DGX SuperPOD 的运维工作,减少站点可靠性工程师(SRE)的人工排查负担。该框架基于 NVIDIA NemoClaw 蓝图和 OpenShell 运行时构建,多个子代理通过 MCP 协议通信,分别负责作业恢复、硬件故障、可观测性、研究、Kubernetes 和集群管理等领域,并通过聊天界面提供根因分析和恢复建议。系统采用分层安全设计,包括只读 kubectl 工具、RBAC 和每会话 Kubernetes 沙箱,并支持本地部署与数据主权。
Mastra 发布 MCP 任务与可观测性更新
Mastra 发布多项更新:@mastra/mcp 新增实验性的、由 Mastra 存储支持的 MCP 任务,使长时间运行的工具、Agent 和工作流可以立即返回任务,并支持跨实例轮询、应答、取消,以及重启后恢复;后台任务支持非 Agent 所有者,并新增保留期、并发覆盖和排队恢复;可观测性新增执行结果、停止原因、模型/提供商和首 token 延迟(TTFT)记录;核心包新增仪表盘与保存视图的 schema,playground-ui 新增 DashboardRenderer 和 Saved Views;频道 Agent 可将需认证的二进制附件下载到工作区。此外还包含多项破坏性变更,如移除部分 playground-ui 组件和 core 子路径。
NVIDIA CUDA 13.5 正式支持 Vera Rubin
NVIDIA 发布 CUDA 13.5,正式支持 Vera Rubin 平台并进入企业生产可用阶段,同时将 Windows on Arm 支持扩展至 DGX Station for Windows。新版本通过 locality domains 和 MPS v3 增强 GPU 调度与资源分区控制,并在库、编译器、CUDA Tile 和开发者工具方面带来多项改进。此外,CUDA 13.5 新增 CUDA Graph 批量 1D 内存拷贝支持、多 GPU 通信直接嵌入 CUDA Tile 内核,以及 Tile 内核直接调用 SIMT 库设备函数的能力。
NVIDIA 让 Kubernetes 首日支持 Vera Rubin
NVIDIA 发布 AI Cluster Runtime(AICR),作为 DSX AI Factory 平台的一部分,通过可复用配方捕获调优配置、生成部署包并验证运行集群,帮助 Kubernetes 环境在首日支持 Vera Rubin NVL72 计算托盘。文章详述了从 GB200 NVL72 迁移到 Vera Rubin 所需的驱动、DOCA/NIC、设备拓扑、IMEX 和 MIG 等变化,并称训练与推理配方变体已端到端验证通过,但新配方族目前仅为预览版,尚不提供生产支持。
NVIDIA 发布工厂运营蓝图 FOX,协调 AI 智能体排查生产问题
NVIDIA 发布 Factory Operations Blueprint(FOX)参考架构,用于在现有工厂系统中加入工厂经理智能体,协调专用智能体完成生产监控、根因分析和机器人调度。该蓝图基于 NVIDIA Agent Toolkit 构建,包含 LLM、Agent harness 和 OpenShell 隔离环境,支持 MCP、ROS 2 和 Isaac Sim 等集成。西门子埃尔朗根电子工厂已用其优化急单排产,端到端智能体系统可节省高达 20% 成本;结合 Cosmos 和 Omniverse 生成虚拟原型,可将上市时间缩短最多 40%。
NVIDIA Workload Map 加速新 AI 框架支持
NVIDIA 发布 Workload Map(原 Karta),作为 DSX AI Factory 平台的一部分,以 Kubernetes CRD 加 Go 库的形式提供分布式工作负载的统一结构描述。它内置 JobSet、PyTorchJob、RayCluster、KServe、NVIDIA NIM、Dynamo 等框架的预置定义,使调度器与平台无需为每种框架单独编写适配器。KAI Scheduler 和 NVIDIA Run:ai 已使用该定义进行 gang 调度与工作负载管理,从而加快新 AI 框架的支持速度。
在 Amazon Bedrock AgentCore Evaluations 中使用决策模型
AWS 博客介绍如何在 Amazon Bedrock AgentCore Evaluations 中通过代码型评估器接入决策模型(decision model),用于对智能体进行评分。文章对比了决策模型与 LLM-as-a-judge 的差异:决策模型针对固定选项返回校准后的概率分布,适合窄而可重复的判断;LLM 评估器则提供解释与深度分析。示例将 TypeSafe 的托管决策模型 Jev 和开源的 Strands Decider 2B 接入 AgentCore,构建了一个 HR 助手智能体的端到端评估流程。
CrewAI 发布 1.15.34:新增技能搜索与部署功能并修复多项问题
CrewAI 发布 1.15.34 版本,新增 LiteLLM 目录、技能搜索、flow 输入传递、部署 zip 创建等功能,并修复了 Gemini 模型下线、API Key 缺失报错、工具调用重试、结构化输出等多项问题。该版本还包含移除 1.15.29 agent executor 的破坏性变更及迁移说明。
Uber 构建 MCP Gateway 治理 800+ 服务器与 5000+ AI 代理工具访问
Uber 构建了 MCP Gateway,用于标准化 AI 代理发现和调用内部服务的方式,解决代理在公司内普及后出现的集成碎片化、基础设施重复和安全实践不一致等问题。该平台支持 800 多个 MCP 服务器和 5000 多个工具,提供发现、协议转换、授权和执行等公共层。架构将作为控制平面的 MCP Registry 与负责运行时执行的 Proxy Gateway 分离,并通过 AutoCrawler 自动发现工具、Omni MCP 支持增量发现。
研究进展
RESEARCH22 篇可重新谈判期权无法阻止两个利润最大化前沿 LLM 代理间的套牢问题
研究让 Claude Opus 5.5 与 GPT-6.1 Sol 两个以利润最大化为目标的 LLM 代理,在相同博弈结构下进行一次性博弈,测试四种合同机制。结果显示,在人类实验中能把投资率从 41.5% 提升到 67.2% 的「可重新谈判期权」,在代理之间完全失效,投资率为 0%;只有在排除重新谈判的固定期权下,所有卖家才选择投资。作者指出,依赖人类行为(如合同作为参照点)的合同条款,未必能在利润最大化的 AI 代理之间保护关系专用性投资。
Google 用智能手表传感器被动检测高血压迹象
Google Research 在 Nature 发表研究,提出 AI-PPG-ACC-HTN 多模态 AI 系统,利用智能手表的光电容积脉搏波(PPG)和加速度计(ACC)传感器被动检测高血压迹象,无需袖带校准。该系统采用自监督对比学习训练一维深度卷积网络,并在 196 名参与者的多中心前瞻性研究中以 24 小时动态血压监测为金标准验证,初筛灵敏度 65.8%、特异度 90.0%,确认性检测灵敏度 78.4%、特异度 90.9%,性能与传统袖带流程相当。相关发现已用于 Google Health 应用中的血压趋势 Health Guardian 功能。
Octopus:面向潜在 KV 多智能体强化学习的分支执行框架
该论文提出 Octopus,一个将服务运行时、GPU 内存管理与强化学习框架协同设计的系统,把智能体执行过程建模为 GPU 常驻的 DAG,通过 fork、rewind、read_thread、wait、done 五个原语在不可变 radix 游标上协调多智能体。它仅在 full-attention 层拼接兄弟 KV 页、循环层跳过挂载区间,将离任务劫持从 57.9% 降至 2.7%,并配合 DAG-GRPO 目标将 rollout 与训练的 KL 散度降低 32 倍。基于 Qwen3.5-4B 训练后,Octopus 在 BrowseComp-Plus 稀疏 BM25 下准确率从 26.0% 提升至 49.6%,超过多个更大规模模型。
Hugging Face 发布 harness adapters:用安全 RL 高效开发 agent
Hugging Face 博客发布“harness adapters”方法:为每个 agent harness(pi、opencode、hermes)单独训练小型 LoRA 适配器,基于同一基础模型,用强化学习在可验证任务上训练,并在工具调用前由 safeagents 代理做规则检查以阻止 reward hacking。实验显示适配器在留出评测任务上工具调用更少、准确率保持或提升,训练覆盖 LFM2.5-24B-A2B、LFM3-1.7B 及未做 agent 训练的 TwIL-8B。
NVIDIA 推出 Reshard 集合通信加速 RL 权重重载
NVIDIA 技术博客介绍了一种名为 Reshard 的新型集合通信原语,专门用于加速强化学习后训练中的权重重载(refit)。传统 gather-and-broadcast 方法在训练与推理 GPU 布局不同时会产生约两倍于模型权重的冗余通信量,对 Kimi K3 等万亿参数模型每次 refit 可达约 10 TB。Reshard 将 refit 重新表述为 DTensor 从训练布局到推理布局的 reshard 问题,只传输理论最小数据量,其开源参考实现 NCCL M2N Reshard 已在 NVIDIA/nccl-extensions 仓库发布。
竞争流匹配扩展质量-覆盖度前沿
该论文提出 Competitive Flow Matching 方法,通过在训练中引入低维高斯辅助条件码,让模型对同一噪声状态生成 K 个候选速度预测,并仅对最匹配的候选施加损失(赢家通吃),从而缓解流匹配生成器在质量与覆盖度之间的权衡。在 ImageNet-256 上,该方法以不到原始 SiT 预训练 3% 的计算量进行后训练,在 67% Recall 点将 FD_r,6 从 19.22 降至 5.91;在 RAEv2 上 70% Recall 点从 16.83 降至 3.18,显著扩展了质量-覆盖度前沿。
智能体在诚实、保密与任务完成间的三难困境
该论文提出 TRILEMMA 多智能体测试环境,模拟公司 Slack 工作区中四名员工将冲刺排班委托给个人 AI 智能体。两名智能体从私密消息中得知其用户不愿与某同事合作,但该理由属机密,而其他智能体持续要求给出具体理由,导致智能体无法同时保持诚实、保密和完成任务。研究评估了七个开源权重模型及 Claude 和 GPT 模型,发现 135/140 个追求回避偏好的开源智能体中 107 个会做出虚假陈述或误导性归因;保密指令可将偏好披露率从 83% 降至 2%,但任务往往无法完成,且智能体在推理中表现出动机性推理。
面向最优多草稿投机解码
该论文研究多草稿投机解码(MDSD)的最优接受率问题。作者利用最优传输问题的对偶形式,将最优接受率计算转化为子集选择问题,首次在词表规模达数千的真实场景下计算了MDSD效率的理论上界,并量化了现有验证算法与该上界的差距。研究发现草稿采样方法显著影响最优接受率,条件泊松采样(CPS)优于有放回采样,且现有验证算法在有放回采样下未达到理论最优。
子空间节点剪枝:基于正交子空间投影的免重训练网络压缩
该论文提出 Subspace Node Pruning(SNP),一种无需重训练的神经网络结构化剪枝方法。作者证明激活类、Fisher 类等多种重要性度量共享同一二次型,通过下三角基变换构造剪枝子空间,并用线性最小二乘同时补偿被剪节点的影响;对层激活做正交化后,各节点重要性分数解耦可加,从而支持层内多节点同时剪枝而不互相干扰。在 ImageNet 上 VGG-16 与 ResNet-50 优于对比基线,在 OPT-125M 和 LLaMA-2 7B 上 40-shot 设置下与 LLM Surgeon 持平,更少 shot 时更优,且剪枝后无需任何重训练。
相关性正在破坏你的梯度下降
该论文研究自然梯度下降中由层输入数据相关性产生的右因子,指出其本质是基变换而非曲率问题,可移出优化器并放入网络内部。作者提出三种等价实现形式:梯度预条件器、前向传播中的去相关线性变换,以及仅依赖局部信号、全部更新为Hebbian的循环动力学。该方法无需矩阵求逆或分解,仅需单个突触可用信息,可在神经形态硬件等分布式物理约束系统中应用,并在卷积和残差网络上验证了有效性,同时改进了多种近似生物合理的信用分配方法。
FORCE:视频世界模型中用于反事实编辑的因子化物体关系
论文提出 FORCE 世界模型,通过无监督方式从原始视频中推断物体两两之间的交互关系,并将每种关系表示为每个物体对的显式隐变量,从而支持删除、修改、迁移或引入关系等反事实编辑。在仿真环境中的评估显示,从视频做编辑的效果得分为 0.19 到 0.37,而用精确物体位置训练和评分时同一架构可达 0.57 到 0.85,说明瓶颈在于物体感知精度而非学习到的关系动力学。
投机草稿与连续扩散语言模型的生成能力差距
该论文比较了连续扩散语言模型(CDLM)与投机解码草稿模型在无验证、独立生成条件下的生成能力。作者用 LangFlow 实例化 CDLM,用 DSpark 的 Markov 与循环头架构实例化草稿模型,在 OpenWebText 上从零训练并评估 GenPPL 与 MAUVE。结果显示在长度 128 和 1024 时 LangFlow 两项指标均优于 DSpark 变体,而 DSpark-RNN 仅在长度 16 领先;循环记忆可改善草稿模型但无法弥合长序列差距,增加 LangFlow 去噪步数可进一步提升指标。
基于流匹配的贝叶斯配电系统状态估计
论文提出 PoSE 方法,将配电系统状态估计(DSSE)保持为贝叶斯结构,仅用流匹配(flow matching)神经网络学习变电站注入功率的先验分布,潮流方程、拓扑与量测仅在采样阶段通过噪声感知的卡尔曼式校正进入。在 IEEE 33 节点馈线上,该方法相比全协方差高斯先验将 CRPS 降低 6.7–7.5%,90% 区间覆盖率接近精确后验,而监督学习估计器仅 37–78%;在 240 节点三相不平衡馈线上取得最低误差,快速版本每快照 0.2–0.6 秒,且无需重训练即可适应七种重构拓扑。
协方差感知评分:视觉-语言测试时适应的几何校正
该论文指出,现有基于 CLIP 的视觉-语言测试时适应(TTA)方法普遍在环境嵌入空间中使用余弦相似度进行评分,而 CLIP 特征存在强各向异性(ViT/B-16 的 512 维特征中,第一主方向解释 56%–65% 的方差,约 80% 方差集中在不到 20 个方向)。作者提出 CARe,用测试特征二阶矩诱导的马氏几何替代环境几何进行评分,并证明在共享协方差高斯模型下其决策方向与 Bayes 最优线性判别一致,收益随特征各向异性增大。实验表明 CARe 在两个骨干网络的标准与细粒度分布偏移基准上均优于基础余弦评分,且计算开销可忽略。
VAR-Q:面向视觉自回归生成的免调优KV缓存量化
该论文提出 VAR-Q,一种无需调优的 KV 缓存量化框架,用于视觉自回归图像与视频生成。作者分析发现,视觉自回归模型的 KV 缓存中不到 1% 的离群通道承载了主要功能,且这些离群值沿通道和块两个轴呈结构化分布,源于投影偏置与 RoPE 散射。VAR-Q 沿这两个轴分组量化,无需校准或重训练,在九个模型上将 KV 内存最多减少 78.5%,质量损失可忽略,并使单卡推理批次增大至 6 倍。
通用鲁棒性定律的四项扩展:对数凹协变量、异质混合、向量预测与马尔可夫数据
该论文由 Tobias J. Peter 撰写,对 Bubeck 和 Sellke 提出的「通用鲁棒性定律」进行四项推广,分别放宽了原定律的四个结构假设:高斯型等周集中、协变量分布同质、标量输出和样本独立。作者证明,在指数集中、异质混合、向量值预测器和平稳马尔可夫数据下,该定律仍以相同速率成立,并给出显式常数。这一工作将鲁棒性定律的适用范围从理想化 i.i.d. 标量场景扩展到更贴近实际的分布与数据结构。
Memento:面向长上下文处理智能体的上下文管理学习
研究提出 Memento,一个基于 Qwen3-8B 训练的长上下文处理智能体,通过上下文压缩(compaction)学习管理固定大小上下文窗口。方法上先用合成轨迹做 SFT 引导记笔记行为,再用结合答案正确性、笔记质量启发式和置信度校准的 RL 奖励强化。在书籍级问答四个基准(最长 250 万 token)上,Memento 将 Qwen3-8B 准确率从 36.9% 提升到 67.8%,上下文始终不超过 20K token,成本低于 GPT-5.5 智能体的 1/50,接近约 100 倍大的 GLM-5.3 智能体(69.3%)且成本仅为其 1/9。
前沿实验室如何用 MOPD 合并 RL 专家,以及如何用 TRL 实现
Hugging Face 博客介绍多教师在线策略蒸馏(MOPD)技术,该技术通过为每个领域训练一个 RL 专家,再将多个专家融合回单一模型,解决单次 RL 训练难以同时提升多领域能力的难题。小米、DeepSeek、Moonshot、NVIDIA、Liquid AI、Mistral 等实验室已采用该技术构建模型。TRL 现已支持 MOPD,AsyncDistillationTrainer 可将每个提示路由到对应的专家教师,同步版 DistillationTrainer 的支持也即将推出。
Agent Harness Awareness:将验证遥测转化为工具型智能体的操作控制
论文提出 Agent Harness Awareness 架构,让主机在执行关键动作前向模型提供经过验证的、带新鲜度标签的执行状态快照,以解决模型只看到静态工具描述而无法感知工具健康状态的“操作盲区”。在 216 次决策的消融实验中,GPT-5.6 Sol、Claude Sonnet 5 和 Gemini 3.7 Flash 在获得验证状态后,平均可观测策略遗憾降低 96.9%,单次派发完成率从 69.4% 提升至 95.8%。另在 27 次决策的本地 TCP/HTTP 实时复现中,验证状态将平均遗憾从 8,956 ms 降至 0 ms,9/9 个模型-故障组合完成动作,而对照组仅 5/9。
MIT 研究:GPT-6 Astra 可直接读写其他模型权重
MIT 研究人员在博客中展示,OpenAI 的 GPT-6 Astra 能直接读取并修改其他 AI 模型的权重,无需传统训练流程,他们将此称为“权重空间编程”。实验显示 Astra 仅凭原始权重就能识别模型训练过的游戏和语言,还能从零生成游戏模型,并在部分游戏中超过训练基线;在 Qwen3.5-0.8B 上仅改动 0.016% 的权重,就把 MATH-500 准确率从 7.9% 提升到 48.1%。研究者认为该方法可用于权重安全审计和定向行为修正,但能力仍有限,且 Jürgen Schmidhuber 质疑其新颖性。
Wave Forcing:面向光速流式视频生成的协同设计框架
上海交通大学 Deng Lab 提出 Wave Forcing(WF),一种面向流式长视频生成的训练与执行框架,通过分块因果注意力、错峰去噪与缓存刷新调度,以及三阶段训练流程,实现连续长视频输出。在 Wan2.1-T2V-1.3B 上,5 步 WF 质量与 Rolling Forcing 相当,100 秒视频的 Dynamic Degree 从 36.63 提升至 91.45;在 8 块 H200 上 4 步 WF 达到 134.8 端到端 FPS,为单 GPU 吞吐的 7.07 倍。其 Wave Parallelism 在 DiT 测试中最高达 Ulysses/Ring 基线吞吐的 2.53 倍,代码、训练配方与检查点已开源。
Apple 提出在线密集强化学习框架,训练 iOS 应用 UI 导航智能体
Apple 机器学习研究团队提出一种在线强化学习框架,直接在真实 iOS 应用上训练 UI 导航智能体。该框架将智能体拆分为规划智能体和 UI 定位模型,使用 LLM-as-a-Judge 提供结合逐步密集反馈与任务完成终端奖励的信号,并采用 PPO 与逐步优势估计进行优化,同时提出 GiGPPO 方法提升 critic 稳定性。研究还搭建了可编排数百台并发虚拟 iOS 设备的基础设施。在 UINavBench、iOSWorld 和 AndroidWorld 上的评测显示,在线 RL 训练的智能体显著优于 SFT 和仅终端奖励的 RL 基线,8B 模型在跨分布泛化到 Android 环境时相比 SFT 基线提升近七倍,在真实 iOS 应用上超过 Gemini-3.5-Flash 并与 Gemini-3.1-Pro 持平。
开源项目
OPEN SOURCE10 篇llama.cpp b12191:MoE 缓存支持 CPU 分担未命中专家
llama.cpp 发布 b12191 版本,为 MoE 缓存引入 CPU 分担机制:通过 --moe-cache-cpu-share 参数,将部分未命中专家在 CPU 上计算而非上传至设备,并新增 moe-cache-tune.py 调优脚本自动推荐缓存大小与 CPU 分担比例。该改动还调整了调度器与图构建逻辑,使 CPU 部分可异步执行、不阻塞设备计算,旨在降低 MoE 推理的显存占用与传输开销。
llama.cpp b12202:按参考精度引入 BF16 累加
llama.cpp 发布 b12202 版本,核心改动是让 llama 与 mtmd 遵循 ggml_prec_set_acc 调用的参考精度:GLM4 系列的下投影与输出投影、MiMoVL 视觉矩阵乘、Qwen3-TTS 说话人编码器 conv1d 改为 GGML_PREC_BF16,而 DeepSeek V4/V4.1 路由器和 MiniMax-M3 索引器保持 F32。ggml 后端同步处理 GGML_PREC_BF16,CUDA、Hexagon、OpenCL、WebGPU、Vulkan 对 MUL_MAT_ID 的 src1 同样拒绝该精度,CPU、SpaceMIT、ET 在 flash attention 中以 F32 累加接受 BF16。同时新增 flash attention 测试覆盖,并为 KQ 乘法请求 BF16 精度。
llama.cpp 为 SSM_SCAN 内核新增 d_state=64 快速路径
llama.cpp 发布 b12207 版本,在 ggml-cuda 的 SSM_SCAN 内核中新增 d_state=64 的快速路径,以支持 Zamba2 等使用状态大小 64 的循环扫描架构。此前这类模型的扫描步骤全部回退到 CPU,生成速度仅 6-7 tok/s;新增模板实例化后,Zamba2-7B-Instruct 实测吞吐提升约 35%(11 提升至 15.1 tok/s),并通过 3 个基于 Zamba2 真实超参数的新测试用例验证正确性。不过仍有约 28% 的扫描调用因未诊断原因回退到 CPU,尚未完全达到与其他架构持平的性能。
llama.cpp b12180 新增 Kimi-K3.1-Pro 文本模型支持
llama.cpp 发布 b12180 版本,新增对 Kimi-K3.1-Pro 文本模型的支持。该模型在 93 层中将 24 层全注意力 MLA 替换为 DSA(带 lightning indexer,32 头×128,top_k 2048,无 rope),KDA 线性注意力层及 K3 骨架其余部分保持不变,因此复用 K3 计算图与转换器并新增 indexer。实现包含混合内存缓存、转换器适配与量化保护(indexer 的 q_b、k、proj 不参与量化),并在 8 层切片上与 HF checkpoint 验证一致。
Xinference 发布 v4.2.0:新增多模型支持与推理缓存优化
Xinference 发布 v4.2.0,新增 Windows 服务重启、Web UI 内检查并安装更新、Worker 控制器会话准入等能力,并扩展对 DeepSeek-V4.1-Flash-1017、Qwen NVFP4/YaRN、MiniMax-H3、Qwen3 实时音频及多款 OCR/TTS 模型的支持。该版本还引入 Xavier 跨引擎前缀缓存共享、多副本权重保留与滚动重载、会话亲和与 agent KV 前缀优先等推理优化,并修复流式读取、嵌入 token 统计等若干问题。
LiteLLM 发布 v1.110.0-dev.2:镜像签名验证与多项修复
LiteLLM 发布 v1.110.0-dev.2 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 的两种验证方式。该版本包含大量修复与功能更新,涉及路由重试记录、按 key/team 关闭 prompt 存储、Azure AI 新增 Cohere 重排模型、Gemini 2.5 Pro 缓存定价、Anthropic 流式工具参数保留、成本表同步 Kimi K3.1 Pro 等模型价格,以及为 OpenAI、Anthropic、Gemini 增加预置凭证检测规则等。
vLLM v0.33.0 发布:新增多模型支持与解码加速
vLLM 发布 v0.33.0,包含来自 389 位贡献者的 927 个提交。该版本新增 Reflection Beam-1.0、Yandex AliceAI-Foundation-80B-A3B、Step-5 Preview 等多个模型支持,升级至 PyTorch 2.14 并放弃 CUDA 12.9,同时引入 XPress、FLy 等投机解码优化及 GB300、MI355X 上的解码加速。此外还新增 OpenAI 兼容的 /v1/decisions 端点、AWS EFA 镜像,并移除 Medusa 等破坏性变更。
Ray 2.60.0 发布:默认 shuffle v2、Serve 滚动更新与安全修复
Ray 发布 2.60.0 版本,将 shuffle v2 设为 join 和聚合的默认策略,并让 Parquet 读取基于行组元数据精确打包读取任务。Ray Serve 新增 max_surge_percent 滚动更新参数,并在新副本持续失败时保留旧副本可路由。安全方面,Ray Data 在所有反序列化外部 Arrow 数据的读取器中拒绝 pickle 对象列,修复远程代码执行路径,并因 CA 泄露和 CVE 更新 certifi、pip、aiohttp 版本。
llama.cpp v0.9.0 发布:FP8 量化与多序列 KV 优化
llama.cpp 发布 v0.9.0,新增 OCP FP8 E4M3 量化支持、提升多序列推理统一 KV 缓存效率的 flash_attn_ext_rows 算子,以及通用批量张量拷贝 API。该版本新增 Clover、Limite、Metis-1.6、Mistral Large 4 四种架构支持,扩展 Chatterbox TTS、Nemotron 3.5 Transcribe 等音频能力,并对 Gemma 4 E2B/E4B 做大幅 prefill 优化。底层 ggml 升级至 v0.29.0,带来 NCCL 多节点张量并行及多后端性能改进。
llama.cpp b12034:修复 WebGPU scratch 分配尺寸非单调问题
llama.cpp 发布 b12034 版本,主要修复 WebGPU 后端的 CI 问题:此前 flash attention vec 路径与 MMVQ 路径会在 dst 之后追加 scratch 区域,但 get_alloc_size 仅在该批次走对应路径时计入该开销,导致分配尺寸对 batch 长度不单调,在 GGML_SCHED_NO_REALLOC 构建下触发意外重分配而中止。修复方式是把行数传入两个路径判定函数,并按短路径支持的最长批次对行数做 clamp 来计算 scratch 大小;同时按 clang-format 22 对齐 MMVQ pipeline key,并命名 mat-vec 行阈值。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
行业与商业
BUSINESS1 篇OpenAI完成110亿美元首批融资,估值达1.25万亿美元
OpenAI已完成新一轮融资首批约110亿美元的交割,公司估值达1.25万亿美元,本轮融资总额最高或达200亿美元,投资方包括Coatue Management、普信集团、软银、红杉资本等。与此同时,竞争对手Anthropic因AI股票下跌,IPO估值预期从1.4万亿至1.5万亿美元下调至1.2万亿至1.3万亿美元,且IPO后可能无法获得投资级信用评级。两家公司的估值变化反映出资本市场对AI基础设施投入和未来回报的关注正在增加。
安全
SECURITY2 篇PydanticAI v2.66.0 修复多个安全漏洞
PydanticAI 发布 v2.66.0,集中修复了 10 个安全漏洞,其中 2 个为高危。高危问题包括 web_fetch_tool 在事件循环上重新缩进 JSON 导致内存膨胀,以及 Harness 私钥脱敏正则指数级回溯。其余中低危问题涉及腾讯云元数据地址未拦截、OpenTelemetry 嵌入 span 泄露凭据、工具 schema 指数展开、适配器消息加载平方级耗时、反序列化文件类型混淆、DNS 预解析泄露等。
PydanticAI 发布 v1.107.10 修复 7 个安全漏洞
PydanticAI 发布 v1.107.10(及 v2.66.0),修复了 7 个安全漏洞,其中 1 个高危、5 个中危、1 个低危。高危问题在于 web_fetch_tool 及 WebFetch 本地回退在事件循环上对 JSON 响应重新缩进,深层嵌套文档可膨胀数百倍,导致内存耗尽并阻塞同进程其他任务。其余问题涉及腾讯云元数据地址未纳入云元数据黑名单、OpenTelemetry 嵌入 span 泄露凭据、工具 schema 指数级展开、适配器消息加载平方级耗时、反序列化工具结果被重建为文件类型,以及 allowed_domains 在拒绝前先做 DNS 解析。