llama.cpp b11868:Hexagon HMX flash attention 多核 KV-head 切分
原标题:b11868
AI 摘要
llama.cpp 发布 b11868 版本,主要变更是为 Hexagon NPU 上的 HMX flash attention 增加 KV-head 团队切分(team split)支持,用于多核场景。该改动将 FA_HEAD_SPLIT 与 FA_SPLIT 合并为单一 GGML_HEXAGON_FA_SPLIT 开关:0 表示仅 token 切分,1 表示 head 切分,并在 KV head 数少于核心数时启用 team 切分,使闲置核心也能参与计算(如 4 核上 2 个 KV head 的 gemma-4)。同时照例提供 macOS、Linux、Android、Windows 等多平台预编译包。
正文节选
<details open> hexagon: KV-head team split for multicore HMX flash attention (#31055) * hexagon: KV-head team split for HMX flash attention in multicore * hexagon: merge FA_HEAD_SPLIT and FA_SPLIT into single GGML_HEXAGON_FA_SPLIT flag 0 = off (token-split only); 1 = head-split, plus team-split when n_kv_heads < N_cores so stranded cores still participate (e.g. gemma-4 with 2 KV heads on 4 cores). Where heads divide evenly across cores, plain head-split is used. </details> **Website:** -