返回全部动态
llama.cpp b12099：Hexagon 后端新增 LIGHTNING_INDEXER 支持
原标题：b12099
AI 摘要
llama.cpp 发布 b12099 版本，为 Hexagon 后端新增 LIGHTNING_INDEXER 算子支持，覆盖 HMX 预填充路径、q8_0 与 q4_0 量化格式的解码 gather-transpose、DMA 双缓冲流水线，并加入 GGML_HEXAGON_LI_SELECT 开关以强制选择 HMX/HVX 路径。该改动由高通工程师参与提交，同时随版本提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> hexagon: add LIGHTNING_INDEXER support (#31289) * hexagon: initial support for LIGHTNING_INDEXER op * hex-lght-idxr: hmx for prefill * hex-lght-idxr: q8_0 decode gather transpose, two-block decode compute * hex-lght-idxr: pipelined hmx path for decode and prefill * hex-lid: add support for K (f32) * hex-lid: add support for K (f32) * hex-lid: add support for q4_0 * hex-lid: remove scalar VTCM reads in the HMX q4_0 K prep and remove vector spills * hex-lid: host/kernel kp
发布时间：2026-11-04 13:47
抓取时间：2026-11-04 14:40
来源机构：ggml-org