返回全部动态

llama.cpp b11763:OpenCL 后端新增小批量 GEMM 变体并修复越界读

原标题:b11763

llama.cpp Releases一手来源开源质量 69

AI 摘要

llama.cpp 发布 b11763 版本,主要针对 OpenCL 后端做优化:为小批量场景新增多个 GEMM 变体(q4_k dp4a、mul_mm_f16_f32_l4_lm 窄变体、gemv_noshuffle_q1_0_f32 单子组变体),修复 mul_mv_mxfp4_f32_flat 的越界读取,移除强制大 N 走 CPU 权重的限制,并按工作组大小限制 q4_0 mc3 的子组数量。改动由高通工程师参与贡献,主要提升 Adreno GPU 等 OpenCL 设备上的推理效率与正确性。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> opencl: add several gemm variants for small batches and some fixes (#30850) * opencl: fix OOB read in `mul_mv_mxfp4_f32_flat` * opencl: remove large-N guard that forces CPU weight placement * this condition claims that large batch produces incorrect results on adreno and cannot be reproduced * model loader uses N512 to probe op support, resulting in cpu fallback * thus this condition does not seem necessary * opencl: cap num of subgroups by workgroup size for q4_0 mc3 Co-a


发布时间:2026-10-21 06:58
抓取时间:2026-10-21 07:51
来源机构:ggml-org
阅读原文github.com