返回全部动态

llama.cpp b11868:Hexagon HMX flash attention 多核 KV-head 切分

原标题:b11868

llama.cpp Releases一手来源开源质量 64

AI 摘要

llama.cpp 发布 b11868 版本,主要变更是为 Hexagon NPU 上的 HMX flash attention 增加 KV-head 团队切分(team split)支持,用于多核场景。该改动将 FA_HEAD_SPLIT 与 FA_SPLIT 合并为单一 GGML_HEXAGON_FA_SPLIT 开关:0 表示仅 token 切分,1 表示 head 切分,并在 KV head 数少于核心数时启用 team 切分,使闲置核心也能参与计算(如 4 核上 2 个 KV head 的 gemma-4)。同时照例提供 macOS、Linux、Android、Windows 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> hexagon: KV-head team split for multicore HMX flash attention (#31055) * hexagon: KV-head team split for HMX flash attention in multicore * hexagon: merge FA_HEAD_SPLIT and FA_SPLIT into single GGML_HEXAGON_FA_SPLIT flag 0 = off (token-split only); 1 = head-split, plus team-split when n_kv_heads < N_cores so stranded cores still participate (e.g. gemma-4 with 2 KV heads on 4 cores). Where heads divide evenly across cores, plain head-split is used. </details> **Website:** -


发布时间:2026-10-25 04:23
抓取时间:2026-10-25 05:04
来源机构:ggml-org
阅读原文github.com