返回全部动态

llama.cpp b11636:SYCL 后端 IQ3 权重重排提速

原标题:b11636

llama.cpp Releases一手来源开源质量 78

AI 摘要

llama.cpp 发布 b11636 版本,为 SYCL 后端新增 IQ3_S 和 IQ3_XXS 权重的持久化重排(reorder)支持,在加载时一次性重排权重,使 MMVQ 点积以稠密超级块方式配合 dp4a 与 SWAR 符号扩展执行,并让重排感知的反量化服务于批量 prefill GEMM。在 Intel Arc Pro B70 上实测,Qwen3.8-27B-GSQ-RCO-IQ3_S 的 tg256 吞吐在 0 上下文提升 82%、9,216 上下文提升 76%、64,000 上下文提升 53%,pp8192 基本持平;标准量化(Q4_K_M/Q3_K_M)不受影响。此外还强化了 oneDNN 构建检查,缺失 DNNL 或仅 CPU 版 DNNL 会在配置阶段直接报错。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> sycl: IQ3 code reorder (#29107) * sycl: persistent IQ3_S/IQ3_XXS weight reorder for SYCL decode and prefill Add persistent reordered weight layouts for IQ3_S and IQ3_XXS. Weights are reordered once at load time; the reordered MMVQ dot products then walk dense super-blocks with dp4a and SWAR sign expansion instead of gathering bits from the interleaved standard layout. Reorder-aware dequantization feeds the batched prefill GEMMs so prompt processing sees the same benefit. Also


发布时间:2026-10-15 12:50
抓取时间:2026-10-15 13:14
来源机构:ggml-org
阅读原文github.com