返回全部动态
llama.cpp b12201：投机解码不再对草稿模型应用 MoE 缓存
原标题：b12201
AI 摘要
llama.cpp 发布构建版本 b12201，主要变更是投机解码（speculative decoding）中不再将 MoE 缓存应用于草稿模型（draft model），对应 PR #31497。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等加速后端。此次更新属于推理框架的细节优化，影响使用 MoE 模型进行投机解码的用户。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> speculative : do not apply the MoE cache to the draft model (#31497) </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/65005103> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12201/llama-b12201-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https
发布时间：2026-11-08 14:58
抓取时间：2026-11-08 15:46
来源机构：ggml-org