返回全部动态

llama.cpp b11580:Hexagon 后端扩展标量 DMA 广播支持

原标题:b11580

llama.cpp Releases一手来源开源质量 71

AI 摘要

llama.cpp 发布 b11580 版本,主要针对高通 Hexagon NPU 后端扩展了标量 DMA 广播支持,用于二元运算。改动包括为加权标量广播和加权重复广播补充测试、移除 hex-binary 中所有非 DMA 路径、支持非连续步长、简化 DMA 重试逻辑,并将 REPEAT、COMPLEX 内核及 add-id 的 src2 索引也迁移到 DMA。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> hexagon: extend scalar DMA broadcasting support for binary ops (#30245) * tests: cover weighted scalar broadcasts Assisted-by: OpenCode * ggml : support extended scalar DMA binary ops Assisted-by: OpenCode * hex-binary: remove all non-dma paths * hex-binary: add support for non-contig strides and cleanup dma preable a bit * hex-binary: cleanup the gating and simplify dma retry * hex-geglu-erf: add a gate for F32 only, we dont support F16 for this op * tests: cover weight


发布时间:2026-10-13 12:02
抓取时间:2026-10-13 12:35
来源机构:ggml-org
阅读原文github.com