AtomicChat 发布 Nemotron 3.5 Bolt 74B-A9B 的 GGUF 量化版本
原标题：AtomicChat/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF
AI 摘要
AtomicChat 在 Hugging Face 发布了 NVIDIA Nemotron 3.5 Bolt 74B-A9B 的 Atomic Dynamic GGUF 量化版本，基于 NVIDIA 原始 BF16 权重和自建重要性矩阵构建，采用标准 llama.cpp 量化类型。该版本提供从 Q8_0 到 IQ1_M_S 共 13 个文件，其中 21.9 GB 的 AD-IQ1_M_S 在 KL 散度上优于 NVIDIA 自家 22.0 GB 的 2-bit 文件。发布方还公开了校准语料和测量日志，并给出不同显存容量对应的可运行文件建议。
正文节选
--- base_model: nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-BF16 base_model_relation: quantized quantized_by: AtomicChat pipeline_tag: image-text-to-text library_name: gguf license: other tags: - atomic-dynamic - gguf - llama.cpp - nvidia - imatrix - quantized - conversational - atomic-chat --- # NVIDIA Nemotron 3.5 Bolt 74B-A9B · Atomic Dynamic GGUF <p style="margin-top: 0; margin-bottom: 0;"> <em><b>Atomic Dynamic</b> (AD) quants, built from NVIDIA's original BF16 weights with our own importanc