llama.cpp b12005:OpenCL 后端新增 q2_0 量化支持
原标题:b12005
AI 摘要
llama.cpp 发布 b12005 版本,为 OpenCL 后端新增 q2_0 量化格式的初步支持,包含 AOS/SOA 矩阵向量乘、分块矩阵乘、面向 Adreno GPU 的 noshuffle GEMM/GEMV 与 dp4a 实现,并优化了 Adreno 上的解码与小批量场景。该版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台、多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译包。此次更新提升了低比特量化模型在移动端 GPU 上的推理效率。
正文节选
<details open> opencl: add initial q2_0 support (#31340) * opencl: add q2_0 AOS mv Co-authored-by: Shaofei Qi <shaoqi@qti.qualcomm.com> Assisted-by: Codex * opencl: add q2_0 SOA mv and tiled mm Co-authored-by: Shaofei Qi <shaoqi@qti.qualcomm.com> Assisted-by: Codex * opencl: add q2_0 noshuffle gemm/gemv for adreno Assisted-by: Codex * opencl: add q2_0 dp4a for adreno * opencl: optimize q2_0 adreno decode and narrow batches --------- Co-authored-by: Li He <lih@qti.qualcomm.com> </deta