返回全部动态

llama.cpp b11463:SYCL 加速 GLM MLA prefill

原标题:b11463

llama.cpp Releases一手来源开源质量 85

AI 摘要

llama.cpp 发布 b11463 版本,主要针对 SYCL 后端优化 GLM MLA 的 prefill 性能。改动允许 GLM-4.7 Flash 的 576/576/512、GQA-20、F16 KV 形状进入 MKL flash-attention 流水线,避免回退到较慢的 TILE 内核。在 Intel Arc Pro B70 上,pp8192 从 432.80 tok/s 提升到 1292.29 tok/s(约 2.99 倍),tg256 基本不变。后续将 MKL flash attention 分数改为 F16 存储的提交被回滚。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> sycl: accelerate GLM MLA prefill with MKL flash attention (#29171) * sycl: accelerate GLM MLA prefill with MKL flash attention GLM-4.7 Flash uses an MLA shape with 576-wide Q/K heads, a 512-wide V head, GQA 20, and F16 KV. The SYCL dispatcher rejects this shape because the normal MKL flash-attention gate requires matching K/V widths and caps the head dimension at 512, so prompt processing falls back to the substantially slower TILE kernel. Admit only the validated 576/576/512,


发布时间:2026-10-07 18:40
抓取时间:2026-10-07 19:11
来源机构:ggml-org
阅读原文github.com