UkisAI 发布 Swift-Qwen3.8-27B-NVFP4 混合精度量化模型
原标题：ukisai/Swift-Qwen3.8-27B-NVFP4
AI 摘要
UkisAI 在 Hugging Face 发布 Swift-Qwen3.8-27B-NVFP4，这是其推理高效模型 Swift-Qwen3.8-27B 的 NVFP4/FP8 混合精度量化版本，基于 NVIDIA Model Optimizer 从原始 BF16 权重直接生成。该版本将 192 个 MLP 投影和 lm_head 量化为 NVFP4（block size 16），144 个大型 DeltaNet 投影与 64 个全注意力投影使用 FP8 E4M3，其余组件保留 BF16，检查点约 21.945 GB。此次更新修复了权重内存占用问题，为 KV 缓存留出更多空间，且 KV 缓存精度未变。
正文节选
--- license: other license_name: swift-open-license-1.0 library_name: vllm pipeline_tag: image-text-to-text gated: true tags: - qwen3_8 - efficient-thinking - reasoning - token-efficient - nvfp4 - fp4 - modelopt - fp8 - hopper base_model: ukisai/Swift-Qwen3.8-27b base_model_relation: quantized --- <div align="center"> <a href="https://ukisai.com"><img src="ukisai-banner.png" alt="UkisAI" style="width:100%;max-width:100%;height:auto;display:block;margin-bottom:0.6em;" /></a> <div style="disp