返回全部动态
llama.cpp b11507：支持 MoE 缓存跨多 GPU
原标题：b11507
AI 摘要
llama.cpp 发布 b11507 版本，主要变更是支持 MoE 缓存在多 GPU 间分布（PR #30112）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此举可提升大 MoE 模型在多卡环境下的推理效率。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> llama: support MoE cache over multiple GPUs (#30112) </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/53988921> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11507/llama-b11507-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/gg
发布时间：2026-10-08 23:27
抓取时间：2026-10-09 00:29
来源机构：ggml-org