llama.cpp b11406:WebGPU MMVQ 新增多种量化格式支持
原标题:b11406
AI 摘要
llama.cpp 发布 b11406 版本,主要变更为 WebGPU 后端的 MMVQ 路径新增对 Q1_0、Q5_0、Q5_1、Q3_K、Q5_K、Q6_K 及 MXFP4 等量化格式的支持,并为 Q1_0 的 MMVQ 路径引入 K_QUANTS_HANDLING 宏。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涉及 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文节选
<details open> webgpu: add MMVQ support for Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4 (#29483) * add supports for q1/q5/q3_k/q5_k/q6_k/mxfp4 of mmvq path * Add K_QUANTS_HANDLING macro to q1_0 of mmvq path </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/52742465> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11406/llama-b11406-bin-macos-arm64.tar.gz) - macOS Apple Silic