QUASAR 发布 Qwen3.8-27B NVFP4 量化模型,496 层全量化
原标题:QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4
AI 摘要
研究团队发布 QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4,这是基于 Qwen/Qwen3.8-27B 的 4-bit NVFP4 量化版本,采用名为 QUASAR 的量化感知训练(QAT)方法直接训练 NVFP4 权重,无需自定义推理路径。该模型体积 19.7 GB,将全部 496 个 transformer 线性层量化为 NVFP4(W4A4),在 GPQA-Diamond 上得分 90.91(BF16 原版为 91.41),AIME'26 达 100.0,在对比的公开 NVFP4 版本中体积最小且得分最高。模型可直接通过 vLLM 部署,需支持 FP4 的 Blackwell 架构 GPU。
正文节选
--- library_name: transformers pipeline_tag: image-text-to-text license: apache-2.0 base_model: Qwen/Qwen3.8-27B base_model_relation: quantized tags: - Qwen3.8 - nvfp4 - fp4 - w4a4 - 4bit - quantization - quantized - quantization-aware-training - quasar - blackwell - compressed-tensors - vllm - sglang - qwen3.8-27b - 4-bit precision - multimodal - vision - reasoning - thinking - long-context - agentic - mtp - speculative-decoding --- # Qwen3.8-27B N