返回全部动态

llama.cpp b11878:CUDA 融合 Qwen MRoPE 与 set-rows

原标题:b11878

llama.cpp Releases一手来源开源质量 57

AI 摘要

llama.cpp 发布 b11878 版本,核心变更是 ggml-cuda 后端将 Qwen 的 MRoPE 与 set-rows 操作融合(PR #31025),以减少 CUDA 上的算子开销。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> ggml-cuda: fuse qwen MRoPE + set-rows (#31025) </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/59638191> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11878/llama-b11878-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/ggml-org


发布时间:2026-10-25 23:16
抓取时间:2026-10-25 23:51
来源机构:ggml-org
阅读原文github.com