返回全部动态

Qwen3.8-27B NVFP4 无损 MTP 加速版发布,DGX Spark 提速 3.9 倍

原标题:autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK

Hugging Face New and Trending Models一手来源开源质量 74

AI 摘要

Hugging Face 用户 autotrust 发布了 Qwen3.8-27B-NVFP4-DGX-SPARK,这是对 nvidia/Qwen3.8-27B-NVFP4 的无损加速分发版,权重与上游逐位一致。通过优化 MTP 投机解码配置(64k 草稿词表、NVFP4 Marlin 草稿头等),在 DGX Spark(GB10)上单流解码从 12.5 tok/s 提升至 48.2 tok/s(3.9 倍),且目标模型输出完全不变。该方案降低了草稿阶段读取 lm_head 的带宽开销,在 B200 上也有约 4% 提升。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

--- license: apache-2.0 base_model: Qwen/Qwen3.8-27B base_model_relation: quantized pipeline_tag: text-generation library_name: vllm tags: - qwen - qwen3.8 - nvfp4 - fp4 - mtp - speculative-decoding - modelopt - dgx-spark - gb10 - blackwell --- # autotrust/Qwen3.8-27B-NVFP4-DGX-SPARK (lossless MTP speculative-decoding boost) A **lossless speed distribution** of `nvidia/Qwen3.8-27B-NVFP4`: the exact same weights, shipped with a fully benchmark-tuned MTP speculative decoding setup. Single-stre


发布时间:2026-10-28 08:32
抓取时间:2026-10-28 08:32
来源机构:Hugging Face
阅读原文huggingface.co