返回全部动态
llama.cpp b10988：OpenCL 按 batch size 选择 MoE expert matmul
原标题：b10988
AI 摘要
llama.cpp 发布 b10988 版本，主要更新 OpenCL 后端：在投机解码/MTP 场景下根据 batch size 选择 MoE expert matmul 实现，并针对路由数量对预构建的 q4_0 MoE GEMM 进行门控，同时停止向填充的 MoE 激活槽写入零值。该改动由高通工程师参与贡献，旨在优化 MoE 模型在 OpenCL 设备上的推理效率。版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> opencl: choose the MoE expert matmul by batch size for speculative decoding/MTP (#27637) * opencl: gate the prebuilt q4_0 MoE GEMM on routing count * opencl: stop writing zeros into the padded MoE activation slots * opencl: rephrase claude's comments --------- Co-authored-by: Li He <lih@qti.qualcomm.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/47713087> **macOS/iOS:** - [macOS Apple Silicon (ar
发布时间：2026-09-16 02:50
抓取时间：2026-09-16 03:40
来源机构：ggml-org