返回全部动态

llama.cpp b11172:优化 Metal 稀疏 Flash Attention

原标题:b11172

llama.cpp Releases一手来源开源质量 64

AI 摘要

llama.cpp 发布 b11172 版本,主要针对 Metal 后端优化稀疏 Flash Attention(sparse FA)并做代码清理,包括将稀疏 FA 索引缓存到共享内存、简化共享内存大小计算以及展开稀疏索引加载。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> metal : optimize sparse FA + clean-up (#29377) * metal : cache sparse FA indices in shared memory Assisted-by: pi:llama.cpp/DeepSeek-V4-Flash-Vision-Exp * metal : simplify shared memory size calculation Assisted-by: pi:llama.cpp/DeepSeek-V4-Flash-Vision-Exp * pi : update general * metal : unroll sparse index load Assisted-by: pi:llama.cpp/DeepSeek-V4-Flash-Vision-Exp </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp


发布时间:2026-09-25 07:35
抓取时间:2026-09-25 08:22
来源机构:ggml-org
阅读原文github.com