返回全部动态
llama.cpp b10456 发布：SYCL 量化拷贝性能大幅提升
原标题：b10456
AI 摘要
llama.cpp 发布 b10456 版本，修复了 SYCL 后端量化拷贝内核中的线程/块计数问题，使其与量化大小成比例，从而减少过订阅或欠订阅。在 Arc 70 上，q4_0 到 f32 路径的吞吐量从 20.21 GB/s 提升至 158.19 GB/s，其他量化类型性能提升不明显。该版本提供了多平台预编译二进制文件。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> sycl: fix thread/block count in quantized cpy kernel launches (#27160) Adjusts the thread/block count to be proportional to the size of the quant, reducing under/over subscription. Largest perf improvement is the q4_0 -> f32 path, with, on a Arc 70, throughput goes from 20.21 GB/s to 158.19 GB/s The rest of the quants are flat in performance uplift. </details> **Website:** - <https://llama.app> **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama
发布时间：2026-08-17 14:29
抓取时间：2026-08-17 14:37
来源机构：ggml-org