返回全部动态
vLLM v0.22.0 发布:DeepSeek V4 成熟化与性能大幅提升
原标题:v0.22.0
AI 摘要
vLLM 发布 v0.22.0 版本,包含 459 个提交,来自 230 位贡献者。该版本重点提升了 DeepSeek V4 的成熟度,包括新增 NVFP4 融合 MoE 支持、CUDA 图优化和 MTP 投机解码。同时,Model Runner V2 成为 Qwen3 稠密模型的默认选项,并引入了实验性的 Rust 前端。性能方面,批量不变推理通过 Cutlass FP8 支持实现了 28.9% 的端到端延迟改进。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
## Highlights This release features 459 commits from 230 contributors (63 new)! * **DeepSeek V4 maturity**: DeepSeek V4 received a major hardening pass this cycle — the model was reorganized into a dedicated `vllm/models/deepseek_v4/` package (#43004, #43039, #43073, #43077, #43149), gained NVFP4 fused MoE support (#42209), full + piecewise CUDA graph (#42604), and MTP speculative decoding (#43385). A large set of fused kernels (MegaMoE, `mhc`, Q-norm, indexer, sparse MLA) and ROCm parity
发布时间:2026-05-29 18:28
抓取时间:2026-08-02 00:23
来源机构:vLLM