返回全部动态
llama.cpp b11559:优化 OpenCL flash attention 并支持 Gemma-4 dk512
原标题:b11559
AI 摘要
llama.cpp 发布 b11559 版本,主要针对 OpenCL 后端进行优化:改进 flash attention,为 Gemma-4 模型开放 dk512 支持,并优化 dk64 的 GQA 解码。改动由高通工程师参与贡献,同时发布了覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: improve fa, allow dk512 for gemma-4, improve dk64 (#30266) * opencl: enable Gemma-4 E4B GPU decode Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> * opencl: extend Gemma-4 GPU decode to E2B Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> * opencl: optimize DK64 GQA8 decode Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> * opencl: optimize DK128 GQA4 decode Co-authored-by: Hongqiang Wang <wangh@qti.qualcomm.com> --------- Co-authored-by: H
发布时间:2026-10-12 03:14
抓取时间:2026-10-12 04:16
来源机构:ggml-org