返回全部动态
llama.cpp b10795 发布:SYCL 后端融合优化
原标题:b10795
AI 摘要
llama.cpp 发布 b10795 版本,主要更新是在 SYCL 后端启用融合优化,将 RMS_NORM+MUL+ADD 和 ADD+ADD 残差链融合,以减少内核启动开销。该融合支持多种数据类型和广播/非连续场景,不支持的组合会回退到两次 add 调用。同时发布了适用于多个平台和硬件的二进制文件。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> sycl: fuse rms_norm+mul+add and add+add residual chains (#27610) Fuse RMS_NORM+MUL+ADD and ADD+ADD under GGML_SYCL_ENABLE_FUSION. ADD+ADD uses the same binbcast indexing and type matrix as standalone add() (f32, f16, f16/f32, i32, i16, bf16, including broadcast and non-contiguous). Unsupported combinations fall back to two add() launches. </details> **Website:** - <https://llama.app> **Attestations:** - <https://github.com/ggml-org/llama.cpp/attestations/45161609> **macOS/i
发布时间:2026-09-04 12:30
抓取时间:2026-09-04 13:13
来源机构:ggml-org