返回全部动态

vLLM v0.33.0 发布:新增多模型支持与解码加速

原标题:v0.33.0

vLLM Releases一手来源开源质量 85

AI 摘要

vLLM 发布 v0.33.0,包含来自 389 位贡献者的 927 个提交。该版本新增 Reflection Beam-1.0、Yandex AliceAI-Foundation-80B-A3B、Step-5 Preview 等多个模型支持,升级至 PyTorch 2.14 并放弃 CUDA 12.9,同时引入 XPress、FLy 等投机解码优化及 GB300、MI355X 上的解码加速。此外还新增 OpenAI 兼容的 /v1/decisions 端点、AWS EFA 镜像,并移除 Medusa 等破坏性变更。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

# v0.33.0 ## Highlights This release features 927 commits from 389 contributors (122 new)! * **New models**: Reflection Beam-1.0 (501B MoE, 23B active) with its DFlash2 drafter (#62074), Yandex AliceAI-Foundation-80B-A3B (#57963), Recursive Flint (40B MoE, 2.5B active) (#62938), Muse Spark Open (#61879), Step-5 Preview (#61727, #63147), NVIDIA Alpamayo 2 Super (#62957), Nemotron-Labs Dory1.0-4B (#60149), Nemotron Parse 3.5 (#61651), MiniCPM-OCR 1.0 (#63095), Domyn Edge (#62544) and the


发布时间:2026-11-02 18:10
抓取时间:2026-11-02 18:25
来源机构:vLLM
阅读原文github.com