返回全部动态
llama.cpp b12143:Vulkan FWHT 内核支持 F16 与更宽块
原标题:b12143
AI 摘要
llama.cpp 发布 b12143 版本,为 Vulkan 后端新增 FWHT(快速 Walsh-Hadamard 变换)内核支持:一是增加 F16 输入变体,使内核可直接读取 F16 源数据而无需转换副本;二是将 FWHT 支持的块宽度从 64-512 扩展至 8192,宽块改用共享内存着色器。这使 Vulkan 后端在更宽块场景下不再回退到稠密矩阵乘法,是此前 CUDA 实现(#29100)的 Vulkan 对应版本。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> vulkan: FWHT kernels for block widths above 512 (#29772) * vulkan: add F16 input to the FWHT The Vulkan FWHT accepts F32 input only. This adds an F16 source variant of the shader, for both the subgroup and the shared-memory paths, so the kernel reads an F16 source directly instead of requiring a converted copy. The F16 shader needs shader-float16, so the pipelines are only created when the device reports it. A null pipeline makes ggml_vk_can_use_fwht fall back, which is the sa
发布时间:2026-11-06 10:48
抓取时间:2026-11-06 11:44
来源机构:ggml-org