Gemma 4 31B IT 的 NVFP4 Blackwell 量化版发布
原标题：melcheikh/gemma-4-31B-it-qat-NVFP4-Blackwell
AI 摘要
开发者 melcheikh 在 Hugging Face 发布了 melcheikh/gemma-4-31B-it-qat-NVFP4-Blackwell，将 Google 的 Gemma 4 31B IT 未量化 QAT 权重通过 NVIDIA Model Optimizer（modelopt 0.44.0）量化为 NVFP4 格式，以便在 NVIDIA Blackwell GPU 上原生 FP4 推理。该模型采用 group size 16 的逐组缩放与 absmax 缩放，lm_head 和视觉模块保持高精度，需搭配 vLLM 0.20.0+ 使用，并支持基于 MTP 助手模型的投机解码。作者同时提示已有更新版本改用 MSE 权重缩放，并更正了此前文档中不存在的 vLLM 参数。
正文节选
--- license: apache-2.0 license_link: https://ai.google.dev/gemma/docs/gemma_4_license base_model: google/gemma-4-31B-it-qat-q4_0-unquantized tags: - tensorizer - modelopt - nvidia - fp4 - nvfp4 - blackwell - vllm - qat pipeline_tag: text-generation --- # Gemma 4 31B IT QAT NVFP4 Blackwell > [!TIP] > **There is a newer version of this model:** > [gemma-4-31B-it-qat-NVFP4-mse-Blackwell](https://huggingface.co/melcheikh/gemma-4-31B-it-qat-NVFP4-mse-Blackwell). > Same base model and calibration s