返回全部动态

llama.cpp b10675 发布:Vulkan 后端优化 MoE 推理

原标题:b10675

llama.cpp Releases一手来源产品发布质量 79

AI 摘要

llama.cpp 发布 b10675 版本,主要更新为 Vulkan 后端新增对 shader 中行 ID 和专家计数的提升支持,优化了 MoE 模型的推理性能。该版本提供了多平台预编译二进制,包括 macOS、Linux、Windows、Android 等。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> Vulkan: add hoisting support for row IDs and expert count in shaders (#26686) * vulkan: add hoisting support for row IDs and expert count in shaders * use hoisted row ids in coopmat2 * vulkan: address review feedback on count_experts - use vk_op_count_experts_push_constants instead of a raw uint vector - apply the fastdiv trick to the ne00 div/mod in count_experts - compute the per-expert offsets with subgroupExclusiveAdd when the device supports it, keeping the serial path


发布时间:2026-08-28 23:48
抓取时间:2026-08-29 00:07
来源机构:ggml-org
阅读原文github.com