llama.cpp b11790:Hexagon 后端 NEON 向量化重打包
原标题:b11790
AI 摘要
llama.cpp 发布 b11790 版本,核心变更是为 Hexagon 后端加入 NEON 向量化的权重重打包(repack/tiling),覆盖 q4_0 等多种量化类型,并加入简单的分块与多线程支持。该 PR 由高通(Qualcomm)工程师参与贡献,同时发布 macOS、Linux、Windows、Android 等多平台预编译包,包含 Snapdragon 的 CPU/Adreno GPU/Hexagon NPU 构建。影响是提升移动端 NPU 上量化模型的推理效率。
正文节选
<details open> hexagon: neon-vectorized and threaded repack (tiling) (#30901) * add vectorized q4_0 repack * apply to more types * hex-repack: neon-vectorize the rest of the types q1/q2/f16/... * hex-repack: add simple chunking / threading --------- Co-authored-by: hubezhou <hubezhou@qti.qualcomm.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/58165545> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://git