返回全部动态
llama.cpp b10791：OpenCL 性能优化与多平台发布
原标题：b10791
AI 摘要
llama.cpp 发布 b10791 版本，主要针对 OpenCL 后端进行优化，包括量化 lm_head、解码 GEMV 及中批量 GEMM 的优化，以提升推测解码和多 token 预测性能。该版本还修复了多个内核问题，并提供了多平台二进制文件。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: quant lm_head / decode GEMV and medium-batch GEMM optimizations (speculative decoding/MTP) (#26477) * opencl: quant lm_head / decode GEMV and medium-batch GEMM optimizations * opencl: guard q4_K/q6_K tiled_ns convert-kernel registration for non-Adreno build * opencl: gate q4_K MUL_MAT+GLU fusion dispatch to Adreno * opencl: require the noshuffle weight layout in the q4_K GLU fusion gate * opencl: do not take the vectorized f16 mrow GEMV path on an unaligned row strid
发布时间：2026-09-04 04:22
抓取时间：2026-09-04 04:49
来源机构：ggml-org