返回全部动态

llama.cpp b11309:优化 Hexagon ALLREDUCE 并支持 safe scatter

原标题:b11309

llama.cpp Releases一手来源开源质量 64

AI 摘要

llama.cpp 发布 b11309 版本,主要针对 Hexagon NPU 后端优化了 ALLREDUCE 集合通信操作,新增对 safe scatter 模式的支持,并重写实现以消除寄存器溢出。该改动由高通工程师 Max Krasnyansky 参与贡献,旨在提升骁龙平台(Hexagon NPU)上多设备推理的通信效率。版本同时提供覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制包。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> Hexagon: optimize ALLREDUCE with support for safe scatter mode (#29757) * hex-allreduce: add support for safe scatter mode * hex-allreduce: pare down excessive comments * hex-allreduce: re-write to remove register spills --------- Co-authored-by: Max Krasnyansky <maxk@qti.qualcomm.com> </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/51669892> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://githu


发布时间:2026-10-01 09:34
抓取时间:2026-10-01 09:36
来源机构:ggml-org
阅读原文github.com