返回全部动态

llama.cpp b11883 修复 4D 张量量化与 MoE 专家检测

原标题:b11883

llama.cpp Releases一手来源开源质量 71

AI 摘要

llama.cpp 发布 b11883 版本,修复了 llama-quant 工具对 4D 张量的量化问题:此前 nrows_total 只按 ne[1]*ne[2] 计算,导致 4D 张量仅前 ne[2] 个切片被量化、其余行被丢弃,现改用 ggml_nrows() 统计全部行。同时将 MoE 专家张量检测从依赖 ne[2]>1 改为按张量名(*_exps/*_chexps)判断,并修正 4D 张量 imatrix 尺寸为 ne[0]*ne[2]*ne[3]。该修复解决了 #29916,并同步提供各平台预编译二进制。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> llama-quant : fix 4D tensor quantization using ggml_nrows() and name-based expert detection (#30820) * llama-quant : fix quantizing 4D tensors nrows_total was ne[1]*ne[2], so for a 4D tensor only the first ne[2] slices were quantized and the rest of the rows were dropped. Use ggml_nrows(tensor) to count all rows, including ne[3]. Fixes #29916 * llama-quant : detect expert tensors by name and fix imatrix size for 4D tensors The MXFP4_MOE path used ne[2] > 1 to detect MoE expe


发布时间:2026-10-26 01:26
抓取时间:2026-10-26 01:57
来源机构:ggml-org
阅读原文github.com