返回全部动态
llama.cpp b11918：OpenCL 后端初步支持 q3_k 量化
原标题：b11918
AI 摘要
llama.cpp 发布 b11918 版本，为 OpenCL 后端首次加入对 q3_k 量化格式的支持，包含 AOS/SOA 矩阵向量乘、分块矩阵乘、Adreno 平台 noshuffle GEMM/GEMV 与 dp4a GEMM 等内核，并针对 Adreno 做了调优。该改动由高通工程师 Hongqiang Wang 参与贡献，同时发布覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: initial support for q3_k (#31172) * opencl: add q3_k AOS mv * opencl: add q3_k SOA mv and tiled mm * opencl: add q3_k noshuffle gemm/gemv for adreno * opencl: add q3_k dp4a gemm for adreno Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> * opencl: tune q3_k kernels for adreno Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> --------- Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> </details> **Website:** - <https://llama.app> **Attestatio
发布时间：2026-10-27 15:22
抓取时间：2026-10-27 15:40
来源机构：ggml-org