返回全部动态

llama.cpp b10833 发布:Vulkan 优化提升 gemma4 性能

原标题:b10833

llama.cpp Releases一手来源产品发布质量 79

AI 摘要

llama.cpp 发布 b10833 版本,主要针对 Vulkan 后端进行了优化,实现了 RMS_NORM 与 MUL、ADD 等操作的融合,并扩展了 ROPE 对 IMROPE 的支持,在 gemma4 上性能提升约 4%。该版本同时提供了多平台预编译二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> vulkan: rms_norm fusion opportunities (#28024) Support RMS_NORM + MUL + ADD (+ MUL) and RMS_NORM + VIEW + SET_ROWS. Extend ROPE + VIEW + SET_ROWS to support IMROPE. Worth around 4% in gemma4 on my system. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/45669354> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b10833/llama-b10833-bin-macos-arm64.tar.gz


发布时间:2026-09-07 14:49
抓取时间:2026-09-07 15:34
来源机构:ggml-org
阅读原文github.com