返回全部动态
llama.cpp b11338:Hexagon 后端 DMA 优化 CPY 与 CONCAT
原标题:b11338
AI 摘要
llama.cpp 发布 b11338 版本,主要针对 Hexagon 后端优化了 CPY 和 CONCAT 操作,引入共享的跨步 DMA 拷贝,并支持通过 DMA 实现任意维度的 CONCAT。提交由高通工程师 Max Krasnyansky 参与,同时修复了 64 位 DMA 下失效的 CONCAT_DMA_MIN_ROW 逻辑并补充了 dma_queue_flush 调用。该版本同步提供 macOS、Linux、Windows、Android 等多平台预编译包。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> hexagon: shared strided DMA copy for CPY and CONCAT, any-dim CONCAT via DMA (#29685) * hexagon: shared strided DMA copy for CPY and CONCAT, any-dim CONCAT via DMA * hex-cpy: various fixes on top of the concat optimizations Removed CONCAT_DMA_MIN_ROW logic, it was broken with 64-bit DMA. While it's kinda silly to use DMA for tiny stuff if that tensor gets mapped to an extended buffer the only way to read it is DMA. Added missing dma_queue_flush() calls. Added additional guard
发布时间:2026-10-02 12:03
抓取时间:2026-10-02 12:47
来源机构:ggml-org