返回全部动态

llama.cpp b12250:Vulkan 新增分块转置 concat 着色器优化 Qwen

原标题:b12250

llama.cpp Releases一手来源开源质量 75

AI 摘要

llama.cpp 发布 b12250 版本,为 Vulkan 后端新增分块转置 concat 着色器,针对 Qwen 模型的 delta-net 卷积状态路径优化 ggml_transpose 直接写入 dim-0 concat 的场景。该优化通过共享内存 32x32 分块使读写合并访问,并严格限定触发条件,其余情况回退原内核。在 gfx1151/RADV 上运行 Qwen3.6-35B-A3B 的 30 层门控 delta-net 时,CONCAT 操作从 11877 微秒降至 957 微秒,pp2048 吞吐从 1224 提升至 1628 t/s,生成文本不变。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> vulkan: add tiled-transpose concat shader for Qwen models (#30591) * vulkan: tiled transpose for dim-0 concat with a transposed source The delta-net conv-state path does ggml_transpose() straight into a dim-0 ggml_concat(), so the generic concat kernel reads src1 with the transposed stride, one element per thread, and neighbouring lanes land on different cache lines. Stage a 32x32 tile through shared memory instead, which keeps both the load and the store coalesced. 33 columns


发布时间:2026-11-11 01:13
抓取时间:2026-11-11 01:49
来源机构:ggml-org
阅读原文github.com