返回全部动态

SGLang v0.5.22 发布:新增多模型支持与推理性能提升

原标题:v0.5.22

SGLang Releases一手来源开源质量 82

AI 摘要

SGLang 发布 v0.5.22 版本,包含来自 245 位贡献者的 950 个 PR。新增 Clef、PPLX-Decider、EmbeddingGemma 2、HunyuanImage-3.0-Instruct 等模型支持,DeepSeek-V4.1 在 H200 上吞吐提升最高 2.3 倍并支持 AMD MI350X/MI355X,InstantTensor 加载器使模型加载快 10 倍,PD 分离在长提示场景吞吐提升 27%。该版本还修复了混合线性模型在投机解码与结构化输出同用时的 mamba 状态恢复问题,并要求 Python 3.11 以上。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

# Highlights *950 PRs from 245 contributors.* ## New models | Model | Type | Cookbook | |---|---|---| | Clef / Clef Flash | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/Cloudflare/clef) | | PPLX-Decider v1 / v1.1 | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/Perplexity/PPLX-Decider-v1.1-27B) | | EmbeddingGemma 2 | LLM / VLM | [link](https://docs.sglang.io/cookbook/autoregressive/Google/EmbeddingGemma2) | | LLaDA2.2 | LLM / VLM | | | Hunyu


发布时间:2026-10-19 10:55
抓取时间:2026-10-19 11:20
来源机构:SGLang
阅读原文github.com