返回全部动态

vLLM v0.22.0 发布:DeepSeek V4 成熟化与性能大幅提升

原标题:v0.22.0

vLLM Releases一手来源产品发布质量 89

AI 摘要

vLLM 发布 v0.22.0 版本,包含 459 个提交,来自 230 位贡献者。该版本重点提升了 DeepSeek V4 的成熟度,包括新增 NVFP4 融合 MoE 支持、CUDA 图优化和 MTP 投机解码。同时,Model Runner V2 成为 Qwen3 稠密模型的默认选项,并引入了实验性的 Rust 前端。性能方面,批量不变推理通过 Cutlass FP8 支持实现了 28.9% 的端到端延迟改进。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

## Highlights This release features 459 commits from 230 contributors (63 new)! * **DeepSeek V4 maturity**: DeepSeek V4 received a major hardening pass this cycle — the model was reorganized into a dedicated `vllm/models/deepseek_v4/` package (#43004, #43039, #43073, #43077, #43149), gained NVFP4 fused MoE support (#42209), full + piecewise CUDA graph (#42604), and MTP speculative decoding (#43385). A large set of fused kernels (MegaMoE, `mhc`, Q-norm, indexer, sparse MLA) and ROCm parity


发布时间:2026-05-29 18:28
抓取时间:2026-08-02 00:23
来源机构:vLLM
阅读原文github.com