返回全部动态
llama.cpp b12031：OpenCL 后端初步支持 IQ3 量化
原标题：b12031
AI 摘要
llama.cpp 发布 b12031 版本，为 OpenCL 后端新增对 IQ3_S 和 IQ3_XXS 两种量化格式的初步支持，涵盖 AOS/SOA 矩阵向量乘、tiled matmul、Adreno GPU 上的 noshuffle GEMM/GEMV 与 dp4a 路径，并针对 Adreno 解码和窄批次做了优化。该改动由高通工程师参与贡献，部分代码借助 Codex 辅助生成，同时随版本提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: add initial iq3 support (#31338) * opencl: add iq3_s AOS mv Assisted-by: Codex * opencl: add iq3_s SOA mv and tiled mm Assisted-by: Codex * opencl: add iq3_s noshuffle gemm/gemv for adreno Co-authored-by: Shaofei Qi <shaoqi@qti.qualcomm.com> Assisted-by: Codex * opencl: add iq3_s dp4a for adreno Co-authored-by: Shaofei Qi <shaoqi@qti.qualcomm.com> Assisted-by: Codex * opencl: optimize iq3_s adreno decode and narrow batches Co-authored-by: Shaofei Qi <shaoqi@qti.
发布时间：2026-11-01 15:41
抓取时间：2026-11-01 15:51
来源机构：ggml-org