返回全部动态
llama.cpp 发布 b11719：CUDA flash attention 越界检查优化
原标题：b11719
AI 摘要
llama.cpp 发布 b11719 版本，主要变更是 ggml-cuda 后端在 flash attention 中当 k_VKQ_max 等于 k_VKQ_max - nbatch_fa 时不再做越界检查（PR #30572）。同时该版本提供了 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包，包括 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> ggml-cuda: fattn do not check oob if k_VKQ_max = (k_VKQ_max - nbatch_fa) (#30572) </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/57114852> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11719/llama-b11719-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel
发布时间：2026-10-18 19:11
抓取时间：2026-10-18 20:16
来源机构：ggml-org