返回全部动态
llama.cpp 发布 b12206：修复 MoE 缓存 CPU 等待问题
原标题：b12206
AI 摘要
llama.cpp 发布 b12206 版本，核心变更是 moe-cache 修复：确保 CPU 部分不会等待已缓存的专家（#31888）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于推理框架的常规迭代，主要影响 MoE 模型在混合 CPU/GPU 推理时的调度效率。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> moe-cache : ensure CPU part does not wait for the cached experts (#31888) </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/65056209> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12206/llama-b12206-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](
发布时间：2026-11-08 22:01
抓取时间：2026-11-08 22:01
来源机构：ggml-org