返回全部动态
llama.cpp b12200：优化 OpenCL q8_0 与 MoE 小 n 验证
原标题：b12200
AI 摘要
llama.cpp 发布 b12200 版本，主要改进 OpenCL 后端：新增 q8_0 的 kernel_gemv_noshuffle_q8_0_f32_mc 内核，为 q5_1、q4_k 等更多量化格式补充小 n 的 MoE GEMV 实现，并将 Adreno 内核的 k 下限设为 256，同时在小验证批次下禁用 bin FA。这些改动由高通（Qualcomm）工程师参与贡献，旨在提升移动端 GPU 上量化模型与 MoE 推理的验证性能。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: improve q8_0 and MoE small-n verification for spec (#31831) * opencl: add kernel_gemv_noshuffle_q8_0_f32_mc Assisted-by: Claude Opus 5.5 Co-authored-by: Shaofei Qi <shaoqi@qti.qualcomm.com> Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> * opencl: small-n MoE GEMV for q5_1, q4_k Assisted-by: Claude Opus 5.5 Co-authored-by: Shaofei Qi <shaoqi@qti.qualcomm.com> Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> * opencl: adreno kernel k floor 256 for x2 A
发布时间：2026-11-08 14:39
抓取时间：2026-11-08 14:42
来源机构：ggml-org