返回全部动态

llama.cpp b11759:ggml-zdnn 引入 flash attention 算子

原标题:b11759

llama.cpp Releases一手来源开源质量 63

AI 摘要

llama.cpp 发布 b11759 版本,核心变更是为 ggml-zdnn 后端引入 flash attention 算子(PR #30512),由 IBM 的 Aaron Teo 贡献,同时新增 scratch buffer pool 并补充相关文档说明。该版本同步提供 macOS/iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等)的预编译二进制。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> ggml-zdnn: introduce flash attention op (#30512) * ggml-zdnn: add scratch buffer pool Signed-off-by: Aaron Teo <aaron.teo1@ibm.com> * ggml-zdnn: implement fattn, ditch scratch slots in favour of scratch buffer pool Signed-off-by: Aaron Teo <aaron.teo1@ibm.com> * docs: add note about fattn Signed-off-by: Aaron Teo <aaron.teo1@ibm.com> --------- Signed-off-by: Aaron Teo <aaron.teo1@ibm.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github


发布时间:2026-10-21 05:26
抓取时间:2026-10-21 05:41
来源机构:ggml-org
阅读原文github.com