部署工程

llama.cpp b12098：mtmd 准确支持 qwen3-vl 视频提示格式

llama.cpp 发布 b12098 版本，主要更新是 mtmd 模块对 qwen3-vl 视频提示格式提供了准确支持（PR #31619）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更

llama.cpp b12097 新增 Chatterbox TTS 支持

llama.cpp 发布 b12097 版本，在 model 与 mtmd 模块中新增 Chatterbox TTS 语音合成支持，并加入内置音色功能，同时清理了冗余代码。该版本同步提供 macOS、iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译二进制包。此次更新

llama.cpp b12096：Hexagon 后端新增 TOP K MASK 算子

llama.cpp 发布 b12096 版本，主要变更为在 Hexagon 后端新增 TOP K MASK 算子，并简化了该 Hexagon 内核的实现、避免重复主机端配置。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO、Hexagon NPU 等）

Qwen 3.8 Swift 1.5 Flash Heretic 逆向工程版 GGUF 量化发布

Hugging Face 用户 jackjusko 发布了 Swift-1.5-Flash-Next-Heretic-ReverseEngineer 的 GGUF 量化版本，基于 jeffpeng3 开发的 Qwen 3.8 Swift 1.5 Flash Heretic v2 权重。该模型移除了拒绝行为（uncensored），并针对逆向工程、编码、设计等

后摩智能完成数十亿元B轮融资，端侧AI芯片M50量产落地加速

存算一体AI芯片企业后摩智能近期完成数十亿元人民币B轮融资，资金将用于扩大M50芯片规模化交付、研发新一代M6X与3D CIM产品并完善软件工具链。公司披露，端边大模型AI芯片M50量产不到一年已获150多个产品定点、服务客户超百家，覆盖Agent Computer、智能移动终端、具身机器人等方向。文章还介绍了存算一体技术路线在端侧推理时代受资本关注的原因，

llama.cpp b12089 发布：新增 Metis-1.6 模型支持

llama.cpp 发布 b12089 版本，新增对 Metis-1.6 模型的支持（PR #31134，由 Claude 辅助完成）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等多种后端。此次更新扩展了 llam

llama.cpp b12087：mtmd 新增 Nemotron 3.5 Transcribe 支持

llama.cpp 发布 b12087 版本，主要为其 mtmd（多模态）模块新增 Nemotron 3.5 Transcribe 语音转录模型支持。改动包括修复 Nemotron-H 目标草稿模型的词表转换、拒绝非 BF16 的 Transcribe 检查点、将说话人 FIFO 预测本地化、在 encode windows 中归一化 mel 特征，以及校验

llama.cpp 发布 b12084：LFM3 记录层输入以支持投机解码

llama.cpp 发布 b12084 版本，主要变更为在 LFM3 中记录 layer inputs 以支持投机解码（spec dec）。该版本同步提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端。此次更新属于开源推理框架

Qwen-Image-2.1-Turbo 量化版发布，支持 GGUF 与 MLX

开发者 abenzerps 在 Hugging Face 发布了 Qwen-Image-2.1-Turbo 的量化版本，基于 Qwen 的 7B 文生图模型，提供 GGUF、FP8/INT8 ConvRot/NVFP4 Safetensors 以及 MLX 4/6/8-bit 等多种格式，并附带文本编码器与 VAE 文件。该版本面向 ComfyUI、命令行运

llama.cpp b12083：修复 ggml roll 有符号溢出

llama.cpp 发布 b12083 版本，修复了 ggml roll 边界检查中的有符号整数溢出问题：原代码用 abs(shift) 校验位移量，但 abs(INT MIN) 属于未定义行为，会在边界检查前触发溢出，现改为有符号安全的比较方式。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、RO

Ollama 发布 v0.40.15：新增 MiMo V2.6 支持

Ollama 发布 v0.40.15 版本，包含两项改动：在 Linux 上以进程内方式加载随包附带的 CUDA 库（由 @dhiltgen 提交，PR #19433），以及新增 MiMo V2.6 模型支持（PR #19400）。该版本属于常规迭代更新，主要提升 Linux 下 GPU 库加载方式并扩展可运行模型范围。

llama.cpp b12081：修复 CUDA Q8 1 量化校正求和

llama.cpp 发布 b12081 版本，主要包含一项 CUDA 后端修复：针对 Q8 1 量化校正求和（correction sum）的潜在问题，并同步调整了 quantize mmq q8 1 的流程。该修复由社区贡献者与 NVIDIA 工程师共同评审完成，同时该版本照例提供 macOS、Linux、Windows、Android 等多平台预编译包。

llama.cpp b12080：CUDA 批量张量读取聚合至映射主机内存

llama.cpp 发布 b12080 版本，核心变更是 CUDA 后端将批量张量读取聚合到映射的主机内存中（PR #31391），并针对小读取与大批量读取分别采用不同策略（小读取聚合、大读取使用 pinned DMA），同时引入条件分发、RAII 主机注册与 128k 描述符固定缓冲区等优化。该版本同时提供 macOS、Linux、Windows、Andr

DeepBeepMeep 发布 WanGP：低显存开源视频生成工具

DeepBeepMeep 发布了 WanGP，一个开源视频生成工具，支持 Wan 2.2 等模型，最低仅需 6GB 显存，兼容旧 GPU，并提供 Web 界面、Lora 支持等功能。该工具旨在降低视频生成门槛，使更多用户能够使用高质量开源模型。

llama.cpp b12079 新增 NCCL 多节点张量并行支持

llama.cpp 发布 b12079 版本，新增基于 NCCL 的多节点张量并行支持。该改动为跨进程 rank 的集合通信添加了后端接口，并在 CUDA 后端用 NCCL 实现，在可用时接入 RPC 服务器；同时重构了通信接口，并为 DGX Spark 将 ncclConfig t 的 maxCTAs 设为 8。此次更新让 llama.cpp 可在多机多卡

AI推理初创Fal估值翻倍至160亿美元，需求激增

旧金山AI推理初创公司Fal完成13亿美元融资，由Bessemer Venture Partners领投，英伟达、Sound Ventures和T. Rowe Price参投，估值达160亿美元，较4月的80亿美元翻倍。公司同时宣布E轮和F轮合计融资16.5亿美元（E轮由红杉领投）。在开源模型推理需求激增的背景下，Fal年化收入已超8亿美元，但推理服务商普遍

audio.cpp 发布 RE-USE 语音增强模型 GGUF 版本

Hugging Face 上发布 audio-cpp/RE-USE-GGUF 仓库，将 NVIDIA 的 RE-USE 语音增强模型（含原始版、NemotronLabs 商用友好版、笑声保留版及实时流式版）转换为 GGUF 格式，供 audio.cpp 原生 C++ 运行时使用。每个 GGUF 内嵌配置与模型规格，无需额外编码器或配置文件。在 RTX 509

英特尔与腾讯云发布至强6+云实例，晒智能体AI基础设施

在2026腾讯全球数字生态大会上，英特尔与腾讯云发布基于英特尔至强6+处理器的新一代云实例，综合性能较上一代提升30%以上，单颗处理器最高可支持超过1000个智能体稳定部署。双方还展示了内存压缩硬件加速、CubeSandbox沙箱、多模态计算引擎Xpark等智能体AI基础设施实践，并披露下一代至强处理器Diamond Rapids及GPU D系列规划。

另有 1 家信源报道

llama.cpp b12076：修复 Metal cpy kernel 非连续目标寻址

llama.cpp 发布 b12076 版本，修复了 Metal 后端 cpy kernel 在目标张量第 0 维非连续（如 permute dst = {1, 0, 2, 3}）时使用隐式元素大小步长而非 args.nb0 寻址、导致写入错误地址的问题；该缺陷由新增的 test-backend-ops cpy 用例捕获，目标连续时寻址行为不变。同时该版本提

在 AWS 上构建超低延迟语音 AI 应用

AWS 机器学习博客介绍 AWS 合作伙伴 Cartesia 如何利用状态空间模型（SSM）和 AWS 基础设施构建超低延迟语音 AI 应用。Cartesia 推出 Sonic（文本转语音）和 Ink（语音转文字）两个模型，均实现低于 100 毫秒的首字节延迟，其中 Sonic 约 90 毫秒即可输出首个音频字节。文章对比了 Transformer 在流式延