返回全部动态

llama.cpp b11790:Hexagon 后端 NEON 向量化重打包

原标题:b11790

llama.cpp Releases一手来源开源质量 69

AI 摘要

llama.cpp 发布 b11790 版本,核心变更是为 Hexagon 后端加入 NEON 向量化的权重重打包(repack/tiling),覆盖 q4_0 等多种量化类型,并加入简单的分块与多线程支持。该 PR 由高通(Qualcomm)工程师参与贡献,同时发布 macOS、Linux、Windows、Android 等多平台预编译包,包含 Snapdragon 的 CPU/Adreno GPU/Hexagon NPU 构建。影响是提升移动端 NPU 上量化模型的推理效率。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> hexagon: neon-vectorized and threaded repack (tiling) (#30901) * add vectorized q4_0 repack * apply to more types * hex-repack: neon-vectorize the rest of the types q1/q2/f16/... * hex-repack: add simple chunking / threading --------- Co-authored-by: hubezhou <hubezhou@qti.qualcomm.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/58165545> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://git


发布时间:2026-10-21 18:40
抓取时间:2026-10-21 18:41
来源机构:ggml-org
阅读原文github.com