llama.cpp b11541 发布:OpenCL 新增 MoE 量化矩阵乘内核
原标题:b11541
AI 摘要
llama.cpp 发布 b11541 版本,主要变更为在 OpenCL 后端新增两个 MoE 矩阵乘法内核 kernel_gemm_moe_q4_k_q8_1_dp4a_bin 和 kernel_gemm_moe_q6_k_q8_1_dp4a_bin(PR #30187)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文节选
<details open> opencl: add bin kernels kernel_gemm_moe_q4_k_q8_1_dp4a_bin, kernel_gemm_moe_q6_k_q8_1_dp4a_bin (#30187) </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/54574689> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11541/llama-b11541-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull