SGLang v0.5.21 发布:新增多模型支持与性能优化
原标题:v0.5.21
AI 摘要
SGLang 发布 v0.5.21 版本,包含来自 227 位贡献者的 779 个 PR。新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6、DiffusionGemma、Qwen-Image 2.1 等十余个模型支持,并引入 PD 实例动态切换、Rust 前缀缓存、Decisions API 与 Score API 等关键特性。性能方面,DeepSeek-V4.1 长提示首 token 提速 22%,Kimi K3 在 PD 服务中预填充吞吐提升 20.6%。
正文节选
# Highlights *779 PRs from 227 contributors.* ## New models | Model | Type | Cookbook | |---|---|---| | DeepSeek-V4.1 Flash | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/DeepSeek/DeepSeek-V4_1) | | GigaChat 3.5 | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/GigaChat/GigaChat3.5) | | IQuest-Q1 | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/IQuestLab/IQuest-Q1) | | MiMo-V2.6 / MiMo-V2.6-Pro | LLM / VLM | [link](https://d