返回全部动态
llama.cpp b12069：OpenCL 后端新增 iq4_xs 量化支持
原标题：b12069
AI 摘要
llama.cpp 发布 b12069 版本，为 OpenCL 后端新增 iq4_xs 量化格式的初步支持，涵盖 AOS/SOA mv、tiled mm、Adreno 平台的 noshuffle gemm/gemv 与 dp4a 实现，并优化了 Adreno 解码与小批量场景。该改动由高通工程师参与贡献，部分代码由 Codex 辅助生成，可提升骁龙 Adreno GPU 上低比特量化模型的推理效率。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: add initial iq4_xs support (#31339) * opencl: add iq4_xs AOS mv Assisted-by: Codex * opencl: add iq4_xs SOA mv and tiled mm Assisted-by: Codex * opencl: add iq4_xs noshuffle gemm/gemv for adreno Co-authored-by: Shaofei Qi <shaoqi@qti.qualcomm.com> Assisted-by: Codex * opencl: add iq4_xs dp4a for adreno Co-authored-by: Shaofei Qi <shaoqi@qti.qualcomm.com> Assisted-by: Codex * opencl: optimize iq4_xs adreno decode and narrow batches Co-authored-by: Shaofei Qi <sha
发布时间：2026-11-03 19:19
抓取时间：2026-11-03 19:52
来源机构：ggml-org