返回全部动态
llama.cpp SYCL 反量化内核向量化优化
原标题：b11979
AI 摘要
llama.cpp 发布 b11979 版本，针对 SYCL 后端重排布局的反量化内核做向量化优化，覆盖 Q4_0、Q4_K、Q5_K、Q6_K、Q3_K、Q2_K、IQ3 与 MXFP4 等量化格式。改动将标量存储改为 vec4 向量存储，输出保持逐位一致，在 Arc Pro B70 上 prefill 性能提升 3.6% 至 28.7%，MXFP4 MoE 模型提升达 57%-61%，decode 与 PPL 基本不变。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> sycl : vectorize reordered-layout dequantization stores (Q4_0, K-quants, IQ3, MXFP4) (#30976) * sycl : widen reordered q4_0 dequantization stores The reordered-layout Q4_0 conversion kernel processed one qs byte per work-item with two scalar stores, strided 16 elements apart. Give it the same treatment the Q8_0 kernel got in #30775: a flat sycl::range<1> launch with four qs bytes (8 outputs) per work-item inside one 32-element block and two vec<dst_t,4> stores. Same float math
发布时间：2026-10-29 14:45
抓取时间：2026-10-30 01:34
来源机构：ggml-org