返回全部动态

llama.cpp b10411 发布:优化 flash-attention V-cache 转换

原标题:b10411

llama.cpp Releases一手来源产品发布质量 72

AI 摘要

llama.cpp 发布 b10411 版本,主要更新为在 ggml-cpu/ops 中向量化 flash-attention V-cache 的 F16 到 F32 转换,以提升性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,并支持多种后端如 Vulkan、CUDA、ROCm 等。部分平台构建(如 KleidiAI、ROCm 7.14)因问题被禁用。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> ggml-cpu/ops: vectorize flash-attention V-cache F16 to F32 conversion (#26947) Co-authored-by: jinzihao <jinzihao.jzh@alibaba-inc.com> </details> **Website:** - <https://llama.app> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b10411/llama-b10411-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/gg


发布时间:2026-08-14 00:36
抓取时间:2026-08-14 01:10
来源机构:ggml-org
阅读原文github.com