llama.cpp b11463:SYCL 加速 GLM MLA prefill
原标题:b11463
AI 摘要
llama.cpp 发布 b11463 版本,主要针对 SYCL 后端优化 GLM MLA 的 prefill 性能。改动允许 GLM-4.7 Flash 的 576/576/512、GQA-20、F16 KV 形状进入 MKL flash-attention 流水线,避免回退到较慢的 TILE 内核。在 Intel Arc Pro B70 上,pp8192 从 432.80 tok/s 提升到 1292.29 tok/s(约 2.99 倍),tg256 基本不变。后续将 MKL flash attention 分数改为 F16 存储的提交被回滚。
正文节选
<details open> sycl: accelerate GLM MLA prefill with MKL flash attention (#29171) * sycl: accelerate GLM MLA prefill with MKL flash attention GLM-4.7 Flash uses an MLA shape with 576-wide Q/K heads, a 512-wide V head, GQA 20, and F16 KV. The SYCL dispatcher rejects this shape because the normal MKL flash-attention gate requires matching K/V widths and caps the head dimension at 512, so prompt processing falls back to the substantially slower TILE kernel. Admit only the validated 576/576/512,