llama.cpp b11560:Hexagon 后端新增 IM2COL_3D 支持
原标题:b11560
AI 摘要
llama.cpp 发布 b11560 版本,主要变更为 Hexagon 后端新增 IM2COL_3D 支持,并配套加入 DMA 路径、避免标量 fp16 转换、重写为规范的双缓冲 DMA 流水线、将 kernel_params 与 VTCM 布局预计算移至主机端等优化。该改动由高通工程师 Max Krasnyansky 参与贡献,旨在提升骁龙 Hexagon NPU 上的卷积类算子执行效率。发布同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
正文节选
<details open> hexagon: add IM2COL_3D (#30305) * hexagon: add IM2COL_3D support Assisted-by: OpenCode * hexagon: add DMA paths for IM2COL_3D Assisted-by: OpenCode * hexagon: avoid scalar fp16 conversions in IM2COL Assisted-by: OpenCode * remove in-loop spills in pre-v81 devices Assisted-by: OpenCode * hex-im2col: re-write to use canonical dma dbl-buff pipeline, remove divs and very inefficient fp conversions * hex-im2col: move kernel_params and vtcm layout precompute into the host *