返回全部动态
llama.cpp b11362：Metal 新增 F16 KV 张量 flash attention 内核
原标题：b11362
AI 摘要
llama.cpp 发布 b11362 版本，主要更新是在 Metal 后端为 F16 KV 缓存新增了基于 tensor API 的 flash attention 内核。该内核还扩展支持 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等维度，并加入 attention sinks、ALiBi 和 logit softcap 支持。同时该版本照例提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> metal : add tensor API flash attention kernel for F16 KV (#29570) * metal : add tensor API flash attention kernel for F16 KV * cont : add tensor FA kernels for DK=DV=512 and DK=576, DV=512 * cont : support attention sinks, ALiBi and logit softcap in the tensor FA kernel * cont : add tensor FA kernel for DK=192, DV=128 </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/52326292> **macOS/iOS:** - [macOS Appl
发布时间：2026-10-03 08:26
抓取时间：2026-10-03 09:20
来源机构：ggml-org