llama.cpp b11636:SYCL 后端 IQ3 权重重排提速
原标题:b11636
AI 摘要
llama.cpp 发布 b11636 版本,为 SYCL 后端新增 IQ3_S 和 IQ3_XXS 权重的持久化重排(reorder)支持,在加载时一次性重排权重,使 MMVQ 点积以稠密超级块方式配合 dp4a 与 SWAR 符号扩展执行,并让重排感知的反量化服务于批量 prefill GEMM。在 Intel Arc Pro B70 上实测,Qwen3.8-27B-GSQ-RCO-IQ3_S 的 tg256 吞吐在 0 上下文提升 82%、9,216 上下文提升 76%、64,000 上下文提升 53%,pp8192 基本持平;标准量化(Q4_K_M/Q3_K_M)不受影响。此外还强化了 oneDNN 构建检查,缺失 DNNL 或仅 CPU 版 DNNL 会在配置阶段直接报错。
正文节选
<details open> sycl: IQ3 code reorder (#29107) * sycl: persistent IQ3_S/IQ3_XXS weight reorder for SYCL decode and prefill Add persistent reordered weight layouts for IQ3_S and IQ3_XXS. Weights are reordered once at load time; the reordered MMVQ dot products then walk dense super-blocks with dp4a and SWAR sign expansion instead of gathering bits from the interleaved standard layout. Reorder-aware dequantization feeds the batched prefill GEMMs so prompt processing sees the same benefit. Also