Qwen3.8-Flash-Next 的 NVFP4 GPTQ 量化版发布
原标题：Maximilian228/Qwen3.8-Flash-Next-NVFP4-GPTQ-Strata
AI 摘要
开发者 Maximilian228 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 NVFP4 GPTQ 量化版本，将全部路由专家量化为 NVFP4 并打包为 Strata NVFP4 格式。该 125B 混合专家模型可在单张 12GB 显存显卡加 64GB 内存的 PC 上运行，与 Q8_0 参考模型的下一个 token 一致率为 93.6%，解码速度 177 tokens/s，32K 提示读取 3.9 秒，内存占用 69GiB。作者还提供了与 Unsloth GGUF、NVIDIA FP4-Local、ISTA-DASLab 等量化版本的精度与速度对比表。
正文节选
--- license: other license_name: qwen-community-1.0 license_link: LICENSE base_model: - Qwen/Qwen3.8-Flash-Next base_model_relation: quantized pipeline_tag: text-generation library_name: strata language: - en - zh tags: - nvfp4 - gptq - strata - moe - qwen3.8 - flash-next - mtp --- # Qwen3.8-Flash-Next — NVFP4 (GPTQ) for Strata Qwen's original [Qwen3.8-Flash-Next](https://huggingface.co/Qwen/Qwen3.8-Flash-Next) with **every routed expert in NVFP4, quantized from the BF16 checkpoint by GPTQ**,