返回全部动态

llama.cpp b10899:Vulkan 小 M 矩阵优化(面向 Qwen)

原标题:b10899

llama.cpp Releases一手来源开源质量 66

AI 摘要

llama.cpp 发布 b10899 版本,主要针对 Vulkan 后端进行小 M 矩阵运算优化,面向 Qwen 模型。改动包括通过交换 A/B 优化 m=1 的 mul_mat、允许小 M 场景使用 split_k,并让 coopmat2 的小/中 tile 选择依赖 M 而非仅依赖 N。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> vulkan: small M matrix optimizations for qwen (#28457) * vulkan: optimize m=1 mul_mat by swapping A/B * vulkan: Improve small M perf Allow split_k with small M. Make small vs med tile selection (for coopmat2) depend on M, not just N. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/46654773> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b10899/llam


发布时间:2026-09-11 02:33
抓取时间:2026-09-11 02:41
来源机构:ggml-org
阅读原文github.com