llama.cpp b11115 发布:OpenCL 新增 A8 Q4_K dp4a 二值化内核
原标题:b11115
AI 摘要
llama.cpp 发布 b11115 版本,主要变更为在 OpenCL 后端新增 A8 Q4_K 非 MoE 的 dp4a 二值化 GEMM 内核 kernel_gemm_noshuffle_q4_k_q8_1_dp4a_ila_a8_bin,并重命名了二值化内核选择辅助函数。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文节选
<details open> opencl: add bin kernel `kernel_gemm_noshuffle_q4_k_q8_1_dp4a_ila_a8_bin` (#29056) * opencl: add A8 Q4_K non-MoE dp4a binary kernel * opencl: rename binary kernel selection helpers </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/49361383> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11115/llama-b11115-bin-macos-arm64.tar.gz) - macOS Apple Silicon (