返回全部动态
vLLM v0.26.0 发布：新增 Inkling 模型支持与 DeepSeek-V4 性能优化
原标题：v0.26.0
AI 摘要
vLLM 发布 v0.26.0 版本，包含 411 个提交，来自 212 位贡献者。新版本支持 Inkling 模型系列，并针对 DeepSeek-V4 进行了性能优化，包括专用路由内核和 fused_topk_bias 等。此外，引入了 fp32 lm_head 选项、灵活的注意力后端选择，并增强了 KV 卸载和分层存储功能。Rust 前端新增多模态视频和音频支持，同时迁移了更多模型到 Transformers 后端。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
# vLLM v0.26.0 Release Notes ## Highlights This release features 411 commits from 212 contributors (61 new)! * **New Inkling model family** with a full support stack: base modeling (#48799), piecewise CUDA graph support (#48822), Hopper FA4 relative attention (#48858), MTP=1 speculative decoding (#48869), LoRA (#48884), and standard ModelOpt NVFP4 quantization (#48990). * **DeepSeek-V4 performance push** across vendors: a specialized routing kernel (2.94% E2E TPOT, #48660), `fused_topk
发布时间：2026-07-27 09:06
抓取时间：2026-08-02 00:23
来源机构：vLLM