Agention 发布 Qwen3.8-Flash-Next 的 ROCmFP4 GGUF 量化版
原标题：agentionai/Qwen3.8-Flash-Next-ROCmFP4-FAST-imatrix-GGUF
AI 摘要
Agention 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 ROCmFP4-FAST imatrix GGUF 量化版本，180B 模型以 4.23 bpw 压缩到 87.06 GiB，可完全运行在 128 GB 统一内存设备（如 Strix Halo）的 96 GiB 显存中，困惑度仅比未量化模型高 2.5%。该版本包含视觉塔、MTP 投机解码头，并针对长上下文优化了预填充吞吐。
正文节选
--- base_model: - Qwen/Qwen3.8-Flash-Next base_model_relation: quantized license: other license_name: qwen-community-1.0 license_link: LICENSE library_name: gguf pipeline_tag: text-generation tags: - gguf - rocmfp4 - rocmfpx - vulkan - strix-halo - qwen4exp - imatrix --- # Qwen3.8-Flash-Next ROCmFP4-FAST imatrix GGUF A 180 B model that runs **entirely on the GPU** of a 128 GB unified-memory box — 87.06 GiB at 4.23 bpw, within 2.5% perplexity of the unquantized model. Sized for the 96 GiB VRAM