返回全部动态
llama.cpp b11574：优化 Hexagon NPU 的 CPY/CONCAT 操作
原标题：b11574
AI 摘要
llama.cpp 发布 b11574 版本，主要针对 Hexagon NPU 后端优化 CPY/CONCAT 操作，采用按行分块的 DMA 描述符处理短行以避免 DMA 延迟瓶颈，并引入线程化 DMA/HVX gather-row 辅助函数。此次更新还包含 f16 快速路径、双缓冲支持、维度折叠、去除冗余屏障以及修复 mdev 场景下的随机挂起问题，同时新增仅构建/安装 Hexagon 后端的支持。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> hexagon: optimize CPY/CONCAT — round 3, short-rows edition (#30341) * hexagon: move the converting CPY in blocks of rows per DMA descriptor so short rows are not DMA-latency bound * hex-cpy: cleanup cpy cursor handling * hex-cpy-concat: introduce threaded dma/hvx gather-row helper Co-authored-by: Ruslan Karymov <67752306+karusrus@users.noreply.github.com> * hex-cpy: remove leftover rejections for extended buffers * hex-cpy: relax the gate for fast-path * hex-cpy: remove sc
发布时间：2026-10-12 23:13
抓取时间：2026-10-12 23:36
来源机构：ggml-org