返回全部动态
llama.cpp b10256 发布:SYCL 内核优化提升性能
原标题:b10256
AI 摘要
llama.cpp 发布 b10256 版本,主要更新是 SYCL 后端对非连续 concat 内核进行了并行化优化,通过调整启动几何形状将性能提升约 9.4%。该版本同时提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
<details open> sycl: parallelize the non-contiguous concat kernel (#25852) * sycl: parallelize the non-contiguous concat kernel Launch geometry only: the non-contiguous concat kernel launched a single-lane work-group (1, 1, 1), now it will launch a (1, 1, SYCL_CONCAT_BLOCK_SIZE) one. SYCL_CONCAT_BLOCK_SIZE is defined in `ggml/src/ggml-sycl/presets.hpp`. llama-bench (Arc Pro B70, Qwen3.6-27B-UD-Q4_K_XL, -fa on, q8_0 KV), on top of upstream master: pp2048 920 -> 1006 t/s (+9.4%) * sycl: cap
发布时间:2026-08-04 14:39
抓取时间:2026-08-04 15:08
来源机构:ggml-org