返回全部动态
llama.cpp b11981：优化 Hexagon NPU 转置 CONCAT 的 DDR 带宽
原标题：b11981
AI 摘要
llama.cpp 发布 b11981 版本，主要针对高通 Hexagon NPU 后端优化转置 CONCAT 操作的 DDR 带宽利用率，包括加倍行块大小与缓冲区、分块处理 src1 行、填充 VTCM 步长以分散 gather lane，并将类似 vgather 优化应用到 SSM_CONV 和 GDN。该改动由高通工程师 Max Krasnyansky 参与提交，同时版本照例提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> hexagon: improve DDR bw utilization in transposed CONCAT (#31277) * hex-concat: double row block size for transposed CONCAT * hex-concat: double buffer scratchpads * hex-concat: chunked src1 rows in transposed concat * hex-concat: pad src1 VTCM stride to spread gather lanes * hex-vgather: apply similar vgather opts to SSM_CONV and GDN --------- Co-authored-by: Max Krasnyansky <maxk@qti.qualcomm.com> </details> **Website:** - <https://llama.app> **Attestations:** - <http
发布时间：2026-10-29 16:11
抓取时间：2026-10-30 01:34
来源机构：ggml-org