返回全部动态

llama.cpp b11861 修复 minimax-m3 量化 scale 未转发问题

原标题:b11861

llama.cpp Releases一手来源开源质量 71

AI 摘要

llama.cpp 发布 b11861 版本,修复 minimax-m3 模型在 MoE FFN 构建中未将 NVFP4 的 per-expert scale2 张量及 MXFP8 的 per-tensor scale 转发到计算图的问题。此前 build_moe_ffn() 默认这些 scale 为 nullptr,导致路由专家权重被放大 global_scale 倍、残差被淹没(M3.1 Flash 报告 G≈15123)并输出乱码。修复后三个调用点均转发 scale 张量,与 flint 等 NVFP4 MoE 模型的做法一致。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

<details open> minimax-m3 : forward quant scales to the graph (fixes #31063) (#31097) The generic scale pass in llama-model.cpp loads the per-expert NVFP4 scale2 tensors (ffn_{up,gate,down}_exps_s) and the per-tensor MXFP8 scales for the dense FFN and the shared expert, but minimax-m3.cpp never forwarded any of them to the graph. build_moe_ffn() defaults these to nullptr, so build_lora_mm_id() skipped its w_s branch entirely and the routed-expert weights came out global_scale times too large,


发布时间:2026-10-25 03:13
抓取时间:2026-10-25 03:56
来源机构:ggml-org
阅读原文github.com