返回全部动态

llama.cpp b11272 发布:优化 Hexagon concat 算子

原标题:b11272

llama.cpp Releases一手来源开源质量 66

AI 摘要

llama.cpp 发布 b11272 版本,主要针对 Hexagon NPU 后端优化了 concat 算子,包括在 gather/transpose 热循环中减少数据包、直接写入目标缓冲区并使用专用指令同步,以及用 fastdiv 替换慢速除法、优化 DMA-HVX 流水线并新增 transpose 辅助函数。该版本同时提供覆盖 macOS、Linux、Windows、Android 等平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端的预编译二进制。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> hexagon: optimize concat op (#29673) * hex-concat: reduce pkts in gather/transpose hot loop gather directly into dst buffer, use special instruction for gather sync * hex-concat: use fastdiv replace calls to sw divide with fastpath * hex-concat: optimize DMA-HVX pipeline and add transpose helpers </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/51367895> **macOS/iOS:** - [macOS Apple Silicon (arm64)](h


发布时间:2026-09-30 14:10
抓取时间:2026-09-30 14:44
来源机构:ggml-org
阅读原文github.com