返回全部动态
vLLM v0.29.0 发布:默认 MRV2,新增多模型支持与性能优化
原标题:v0.29.0
AI 摘要
vLLM 发布 v0.29.0 版本,包含 594 个提交,来自 277 位贡献者。主要亮点包括 Model Runner V2 成为所有模型的默认执行器,新增多个模型支持(如 Hy4-preview、Qwen3.8-Flash-Next、GraniteSWA 等),并针对 Kimi K3 和 DeepSeek V4 进行了性能优化。此外,该版本引入了新的默认设置(如 FlashInfer 全归约默认启用)和多项破坏性变更(如移除十个弃用模型架构)。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
# v0.29.0 ## Highlights This release features 594 commits from 277 contributors (91 new)! * **Model Runner V2 is now the default for all models** (#53183), completing the rollout that began with pooling models (#48290). MRV2 also gained CUDA graph memory profiling for KV cache auto-sizing (#53306), batch-sharded sampling that cuts per-step logits memory by 1/TP (#50465), prompt embeds (#42963), `extract_hidden_states` speculation (#49811), padded FULL cudagraph dispatch for uniform deco
发布时间:2026-09-09 16:54
抓取时间:2026-09-09 16:57
来源机构:vLLM