返回全部动态

llama.cpp b10795 发布:SYCL 后端融合优化

原标题:b10795

llama.cpp Releases一手来源产品发布质量 74

AI 摘要

llama.cpp 发布 b10795 版本,主要更新是在 SYCL 后端启用融合优化,将 RMS_NORM+MUL+ADD 和 ADD+ADD 残差链融合,以减少内核启动开销。该融合支持多种数据类型和广播/非连续场景,不支持的组合会回退到两次 add 调用。同时发布了适用于多个平台和硬件的二进制文件。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> sycl: fuse rms_norm+mul+add and add+add residual chains (#27610) Fuse RMS_NORM+MUL+ADD and ADD+ADD under GGML_SYCL_ENABLE_FUSION. ADD+ADD uses the same binbcast indexing and type matrix as standalone add() (f32, f16, f16/f32, i32, i16, bf16, including broadcast and non-contiguous). Unsupported combinations fall back to two add() launches. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/45161609> **macOS/i


发布时间:2026-09-04 12:30
抓取时间:2026-09-04 13:13
来源机构:ggml-org
阅读原文github.com