返回全部动态

llama.cpp b10844 为 Vulkan 添加 DeepSeek-V4 融合算子

原标题:b10844

llama.cpp Releases一手来源产品发布质量 83

AI 摘要

llama.cpp 发布 b10844 版本,为 Vulkan 后端添加了 DeepSeek-V4 超连接融合算子(DSV4_HC_COMB/PRE/POST),将 Sinkhorn 迭代等操作融合到寄存器中,大幅减少调度次数,提升解码性能。该版本还包含多个平台的二进制构建。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> vulkan: add DeepSeek-V4 hyper-connection fused ops (DSV4_HC_COMB/PRE/POST) (#26578) * vulkan: add DeepSeek-V4 hyper-connection fused ops (DSV4_HC_COMB/PRE/POST) CUDA has these ops from the DeepSeek-V4 merge and Metal gained them in PR 26459. Vulkan was the last major backend running the unfused primitive chain. On DeepSeek-V4-Flash the unfused Sinkhorn comb chain alone takes about 32% of decode op time on gfx1151 (Strix Halo), spread over roughly 16k dispatches per token. dsv4


发布时间:2026-09-08 03:28
抓取时间:2026-09-08 03:59
来源机构:ggml-org
阅读原文github.com