llama.cpp b11195：为 k-quants 引入分块 mul_mat 加速

AI 摘要

llama.cpp 发布 b11195 版本，为 ggml-cpu 后端引入针对 k-quants 的 tiled mul_mat 实现。该方法将量化权重解包为最大 256x256 的 int8 分块，再通过微内核计算 16x16 分块后写出结果，在大矩阵乘法上带来 3-6 倍加速，但在 GEMV 场景下性能下降约 80%。同时包含 ARM/Windows 构建修复、AVX2 内核优化及测试基准调整。

正文节选

<details open> ggml-cpu: tiled mul_mat for k-quants (#27851) * Added tiled mul_mat. For each mul_mat_one_chunk, quants are unpacked into (max) 256x256 tiles of int8, one routine per quent. Then microkernel computes 16x16 tiles before writing out 256x256 float reults to main memory. Tests/benches in tests/test-tiled-mulmat.cpp. 3-6x speed improvement for large matmul, break even at 4096x64 * 64x4096, 80% performance (net loss) for GEMV. Error rates trivial (order of 1-e04 max, 1-e05 rmse)

发布时间：2026-09-26 16:27

抓取时间：2026-09-26 16:47

来源机构：ggml-org