返回全部动态
llama.cpp b11986：OpenCL 初步支持 IQ2 量化
原标题：b11986
AI 摘要
llama.cpp 发布 b11986 版本，为 OpenCL 后端新增对 IQ2（iq2_s、iq2_xs、iq2_xxs）量化格式的初步支持，覆盖 AOS/SOA 矩阵向量乘、tiled mm、Adreno 平台的 noshuffle gemm/gemv 与 dp4a 实现，并优化了 Adreno 解码与窄批次性能。该改动由高通工程师 Hongqiang Wang 参与贡献，同时随版本提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: initial support for iq2 (#31267) * opencl: add iq2_s AOS mv * opencl: add iq2_s SOA mv and tiled mm * opencl: add iq2_s noshuffle gemm/gemv for adreno * opencl: add iq2_s dp4a for adreno * opencl: optimize iq2_s adreno decode and narrow batches Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> * opencl: add iq2_xs AOS mv * opencl: add iq2_xs SOA mv and tiled mm * opencl: add iq2_xs noshuffle gemm/gemv for adreno * opencl: add iq2_xs dp4a for adreno * open
发布时间：2026-10-30 04:16
抓取时间：2026-10-30 04:35
来源机构：ggml-org