返回全部动态
llama.cpp b10675 发布:Vulkan 后端优化 MoE 推理
原标题:b10675
AI 摘要
llama.cpp 发布 b10675 版本,主要更新为 Vulkan 后端新增对 shader 中行 ID 和专家计数的提升支持,优化了 MoE 模型的推理性能。该版本提供了多平台预编译二进制,包括 macOS、Linux、Windows、Android 等。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> Vulkan: add hoisting support for row IDs and expert count in shaders (#26686) * vulkan: add hoisting support for row IDs and expert count in shaders * use hoisted row ids in coopmat2 * vulkan: address review feedback on count_experts - use vk_op_count_experts_push_constants instead of a raw uint vector - apply the fastdiv trick to the ne00 div/mod in count_experts - compute the per-expert offsets with subgroupExclusiveAdd when the device supports it, keeping the serial path
发布时间:2026-08-28 23:48
抓取时间:2026-08-29 00:07
来源机构:ggml-org