返回全部动态
vLLM v0.31.0 发布：DeepSeek-V4.1-Flash 性能优化与快速重启
原标题：v0.31.0
AI 摘要
vLLM 发布 v0.31.0，包含来自 307 位贡献者的 717 个提交。该版本重点优化 DeepSeek-V4.1-Flash 性能（FlashMLA mega attention、NVFP4 压缩 KV 缓存、DeepGEMM 稀疏 MQA 等），新增快速重启的 vllm preload 权重缓存守护进程与 CRIU 快照，并在 Model Runner V2 上支持投机解码。同时引入大规模服务后端 MoonEP、调度控制参数及多项安全加固与破坏性变更。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
# v0.31.0 ## Highlights This release features 717 commits from 307 contributors (96 new)! * **DeepSeek-V4.1-Flash performance**: FlashMLA mega attention with the V4.1 NVFP4 compressed KV cache is now the SM100 default (#56935); DeepGEMM sparse MQA logits for the indexer (#56254) and Mega-Gate fusing the gate GEMM with expert selection (#56266); decoder boundaries fuse the TP all-reduce, mHC input preparation (#57643) and the MoE finalize (#58586); a fused small-batch WO-A with inverse R
发布时间：2026-10-05 14:44
抓取时间：2026-10-05 14:51
来源机构：vLLM