返回全部动态
llama.cpp b11821：重构 Intel XMX 多列矩阵乘
原标题：b11821
AI 摘要
llama.cpp 发布 b11821 版本，重构了 Intel XMX 矩阵引擎上的多列 mul_mat_vec_q 实现，面向 SYCL 后端，覆盖 2 至 80 个激活列，主要服务投机解码验证与短提示批次场景。该改动新增融合 gate/up 内核（支持 SWIGLU/GEGLU），并加入两个环境变量控制最大列数；在 B70 上 Q4_K_M 的 tg128 从 26.67 tok/s 提升至 28.23 tok/s（+5.9%），Q6_K 不变，相关算子测试全部通过。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> Multi-column on Intel XMX matrix engines refactored (#29864) * Multi-column on Intel XMX matrix engines refactored Multi-column (2 to 80 activation columns) mul_mat_vec_q for reordered K-quant and Q8_0 weights on the Intel XMX matrix engines (int8 DPAS, ESIMD), for the SYCL backend. It targets speculative decoding verification (2 to 8 tokens per step) and short prompt batches (9 to 80 tokens). Three types also use it for a single column (Q2_K, Q3_K, Q8_0). * Fixed regression b
发布时间：2026-10-23 01:02
抓取时间：2026-10-23 01:47
来源机构：ggml-org