返回全部动态
llama.cpp b10726 发布：AVX2 下 IQ 模型大批量处理提速
原标题：b10726
AI 摘要
llama.cpp 发布 b10726 版本，主要更新为在 AVX2 指令集下加速 IQ 模型的大批量提示处理，通过引入新的批处理 GEMM 内核和 IQ 面板解码优化，提升了性能。该版本还包含代码重构、NUMA 回退支持及新增测试，并提供了多平台预编译二进制文件。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> AVX2: Speed up large batch size prompt processing of IQ models (#27402) * Batched gemm for grid IQ quants Style updates and a bit more performance Clean up comments Move code around Vectorize IQ panel decode, lower threshold for speedup IQ panel: single-source gather layout, gate bias, vectorize interleave Add ggml_gemm_iqp_8x8_q8_K_p4 kernel, remove gather buffer Move IQ panel code out of repack into iqp.cpp, clean up comments Another comment sweep * Add myself as iqp.
发布时间：2026-09-01 03:41
抓取时间：2026-09-01 04:42
来源机构：ggml-org