返回全部动态
llama.cpp b11480：为宿主内存中的 MoE 专家增加 GPU 缓存
原标题：b11480
AI 摘要
llama.cpp 发布 b11480 版本，主要变更为在 llama 中为保存在主机内存中的 MoE 专家添加 GPU 缓存（PR #29887），该改动由 Claude 协助完成。版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> llama : add a GPU cache for MoE experts kept in host memory (#29887) * llama : add a GPU cache for MoE experts kept in host memory Assisted-by: Claude * use llama_moe_cache_ptr </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/53775050> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11480/llama-b11480-bin-macos-arm64.tar.gz) - macOS Apple Silicon (ar
发布时间：2026-10-08 09:36
抓取时间：2026-10-08 09:58
来源机构：ggml-org