SGLang v0.5.22 发布:新增多模型支持与推理性能提升
原标题:v0.5.22
AI 摘要
SGLang 发布 v0.5.22 版本,包含来自 245 位贡献者的 950 个 PR。新增 Clef、PPLX-Decider、EmbeddingGemma 2、HunyuanImage-3.0-Instruct 等模型支持,DeepSeek-V4.1 在 H200 上吞吐提升最高 2.3 倍并支持 AMD MI350X/MI355X,InstantTensor 加载器使模型加载快 10 倍,PD 分离在长提示场景吞吐提升 27%。该版本还修复了混合线性模型在投机解码与结构化输出同用时的 mamba 状态恢复问题,并要求 Python 3.11 以上。
正文节选
# Highlights *950 PRs from 245 contributors.* ## New models | Model | Type | Cookbook | |---|---|---| | Clef / Clef Flash | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/Cloudflare/clef) | | PPLX-Decider v1 / v1.1 | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/Perplexity/PPLX-Decider-v1.1-27B) | | EmbeddingGemma 2 | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/Google/EmbeddingGemma2) | | LLaDA2.2 | LLM / VLM | | | Hunyu