返回全部动态
llama.cpp b11232：x86 启用分块 flash attention
原标题：b11232
AI 摘要
llama.cpp 发布 b11232 版本，主要更新是在 x86 平台上为 ggml-cpu 后端启用了针对非向量倍数头维度的分块 flash attention，并为 simd_gemm_ukernel_tail 增加了 AVX2 掩码加载/存储支持，同时修复了填充 KV 分块的 FA softcap 处理。该版本同步提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> ggml-cpu: enable tiled flash attention for non-vector-multiple head dims on x86 (#29423) * ggml-cpu: enable tiled flash attention for non-vector-multiple head dims on x86 * add AVX2 support for masked loading and storing in simd_gemm_ukernel_tail * ggml-cpu: fix FA softcap handling for padded KV tiles </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/50796641> **macOS/iOS:** - [macOS Apple Silicon (arm64)]
发布时间：2026-09-28 22:22
抓取时间：2026-09-28 22:51
来源机构：ggml-org