返回全部动态

llama.cpp b11873:OpenCL 后端新增 q2_k 支持

原标题:b11873

llama.cpp Releases一手来源开源质量 69

AI 摘要

llama.cpp 发布 b11873 版本,为 OpenCL 后端新增 q2_k 量化格式的初步支持,包括 mul_mv_q2_k_f32、SOA mv 与 tiled mm、面向 Adreno 的 noshuffle gemm/gemv 和 dp4a gemm 内核,并针对 Adreno 调优。该改动由高通工程师 Hongqiang Wang 参与贡献,同时发布覆盖 macOS、Linux、Windows、Android 等多平台与 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端的构建产物。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> opencl: add initial q2_k support (#30999) * opencl: add `mul_mv_q2_k_f32` * opencl: add q2_k SOA mv and tiled mm * opencl: add q2_k noshuffle gemm/gemv for adreno * opencl: add q2_k dp4a gemm for adreno Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> * opencl: tune q2_k kernels for adreno --------- Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/atte


发布时间:2026-10-25 20:24
抓取时间:2026-10-25 20:49
来源机构:ggml-org
阅读原文github.com