返回全部动态

llama.cpp b11554:Vulkan 后端优化 mul_mat_id 重复处理

原标题:b11554

llama.cpp Releases一手来源开源质量 66

AI 摘要

llama.cpp 发布 b11554 版本,主要更新为 Vulkan 后端优化:在预处理阶段处理 mul_mat_id 的重复行 ID,而非循环处理,通过始终启用「hoist row ids」优化并生成紧凑的 tile 描述列表,在需要时发射多个 tile,从而收紧 workgroup 数量上界并让尾部提前退出。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> vulkan: handle mul_mat_id duplicates in the prepass rather than looping (#29998) * vulkan: compute every row of an expert in mul_mm_id when ids repeat * vulkan: handle mul_mat_id duplicates in the prepass rather than looping Extend the "hoist row ids" optimization to always be enabled and to emit a compact list of tile descriptions that need to run, and to emit multiple tiles when needed. Then we can launch a tighter upper bound on the number of workgroups and the tail can tri


发布时间:2026-10-11 20:29
抓取时间:2026-10-11 21:04
来源机构:ggml-org
阅读原文github.com