RedHatAI 发布 Qwen3.8-27B-NVFP4 量化模型
原标题：RedHatAI/Qwen3.8-27B-NVFP4
AI 摘要
RedHatAI 发布了 Qwen3.8-27B-NVFP4，这是对 Qwen/Qwen3.8-27B 的混合精度量化版本，采用 FP4/FP8 方案，MLP 投影量化为 FP4，注意力投影和最终 MLP 层量化为 FP8，KV 缓存量化为 FP8，语言模型头保持全精度。该模型使用 LLM Compressor 结合 AWQ 与 GPTQ 在 perfectblend 数据集 512 样本上校准，检查点约 24.7 GB，相比 BF16 的约 54 GB 减少约 70% 的磁盘和显存需求。在 GSM8K Platinum、MATH-500、AIME 2025、GPQA Diamond、IFEval 和 SWE Bench 上评估，精度恢复率接近或超过 BF16 基线。
正文节选
--- tags: - fp4 - fp8 - vllm - llm-compressor - compressed-tensors library_name: transformers license: apache-2.0 pipeline_tag: image-text-to-text base_model: Qwen/Qwen3.8-27B --- # Qwen3.8-27B-NVFP4 ## Model Overview - **Model Architecture:** Qwen3_5ForConditionalGeneration - **Input:** Text / Image - **Output:** Text - **Model Optimizations:** - **Weight quantization:** FP4 and FP8 - **Activation quantization:** FP4 and FP8 - **Release Date:** 2026-09-21 - **Version:** 2.0 - **Model