返回全部动态
llama.cpp 新增 NVIDIA Nemotron-3-Puzzle-75B 模型支持
原标题：b10776
AI 摘要
llama.cpp 发布 b10776 版本，新增对 NVIDIA Nemotron-3-Puzzle-75B-A9B 模型的支持。该模型具有每层不同的专家 FFN 大小和 top-k 路由配置，为此引入了每层 n_ff_exp 和 n_expert_used 的数组支持，并扩展了 GGUF 键以接受标量或数组。同时更新了转换脚本以兼容官方 BF16 检查点的张量命名，并修复了相关架构的编译问题。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> model: add NVIDIA Nemotron-3-Puzzle-75B-A9B (NemotronHPuzzle) support (#25444) * hparams: add per-layer n_ff_exp/n_expert_used arrays with scalar-or-array loading G1/G2 infrastructure for variable-per-layer expert FFN size and top-k routing (required for Puzzle-75B which has 5 distinct n_ff_exp values and 7 top-k values across its 40 MoE layers). Design: rename scalar members to _impl suffix (following existing convention), add LLAMA_MAX_LAYERS arrays, add n_ff_exp(il)/n_exper
发布时间：2026-09-03 15:57
抓取时间：2026-09-03 16:29
来源机构：ggml-org