返回全部动态
llama.cpp b10425 发布:SYCL 融合优化提升推理性能
原标题:b10425
AI 摘要
llama.cpp 发布 b10425 版本,主要更新为在 SYCL 后端融合了 gated-delta-net 状态写回操作,提升了 Arc Pro B70 上 Qwen 3.6 27B 模型的推理性能,文本生成速度提升约 1.2%。该版本提供了多平台预编译二进制文件,包括 macOS、Linux、Windows、Android 等。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> sycl: fuse the gated-delta-net state writeback cpy (#26643) Port of https://github.com/ggml-org/llama.cpp/pull/23940. Arc Pro B70, Qwen 3.6 27B Q4_K - Medium (48 of its 64 blocks run gated_delta_net), -ngl 99 -fa 1 -ctk f16 -ctv f16 -b 2048 -ub 2048, interleaved A/B passes of r=3: tg128 23.91 / 23.90 / 23.90 -> 24.19 / 24.17 / 24.20 +1.2% tg128 (rebuild) 23.81 / 23.81 -> 24.09 / 24.10 +1.2% pp2048 1050.8 / 1053.9 -> 1053.8 / 1
发布时间:2026-08-14 14:50
抓取时间:2026-08-14 15:44
来源机构:ggml-org