返回全部动态

llama.cpp b10322 发布:SYCL 优化 SSM_CONV 性能提升

原标题:b10322

llama.cpp Releases一手来源产品发布质量 79

AI 摘要

llama.cpp 发布 b10322 版本,主要更新为 SYCL 后端对 SSM_CONV 窗口加载进行合并优化,在 Arc Pro B70 上性能提升约 1.85 倍,并在 Qwen3.5 27B 模型上带来约 2% 的预填充速度提升。该版本同时提供了多平台预编译二进制文件下载。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> sycl: coalesce the ssm_conv window loads (#26612) test-backend-ops perf -o SSM_CONV on an Arc Pro B70, interleaved A/B against master, 6 reps, us/run: ne_a=[515,3328,1,1] ne_b=[4,3328,1,1] n_t=512 97.68 -> 52.95 1.85x ne_a=[937,8192,1,1] ne_b=[4,8192,1,1] n_t=934 516.16 -> 276.13 1.87x ne_a=[4,3328,1,1] ne_b=[4,3328,1,1] n_t=1 2.73 -> 2.71 flat llama-bench on qwen35 27B Q4_K - Medium (48 of its 64 blocks run ssm_conv), -ngl 99 -fa 1 -ctk f16 -


发布时间:2026-08-08 03:51
抓取时间:2026-08-08 03:53
来源机构:ggml-org
阅读原文github.com