返回全部动态

SGLang v0.5.21 发布:新增多模型支持与性能优化

原标题:v0.5.21

SGLang Releases一手来源开源质量 88

AI 摘要

SGLang 发布 v0.5.21 版本,包含来自 227 位贡献者的 779 个 PR。新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6、DiffusionGemma、Qwen-Image 2.1 等十余个模型支持,并引入 PD 实例动态切换、Rust 前缀缓存、Decisions API 与 Score API 等关键特性。性能方面,DeepSeek-V4.1 长提示首 token 提速 22%,Kimi K3 在 PD 服务中预填充吞吐提升 20.6%。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

# Highlights *779 PRs from 227 contributors.* ## New models | Model | Type | Cookbook | |---|---|---| | DeepSeek-V4.1 Flash | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/DeepSeek/DeepSeek-V4_1) | | GigaChat 3.5 | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/GigaChat/GigaChat3.5) | | IQuest-Q1 | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/IQuestLab/IQuest-Q1) | | MiMo-V2.6 / MiMo-V2.6-Pro | LLM / VLM | [link](https://d


发布时间:2026-10-02 09:09
抓取时间:2026-10-02 09:39
来源机构:SGLang
阅读原文github.com