返回全部动态
SGLang v0.5.11 发布：CUDA 13 升级、推测解码 V2 默认启用，新增多模型支持
原标题：v0.5.11
AI 摘要
SGLang 发布 v0.5.11 版本，默认 CUDA 版本升级至 13.0，PyTorch 升级至 2.11，并默认启用 Speculative Decoding V2 以降低 CPU 开销。该版本新增了对 Gemma 4、GLM-5.1、Qwen3.6、MiMo-V2.5、Kimi-K2.6 等新模型的支持，并增强了 PD 分离场景下的解码端 Radix 缓存、上下文并行和 LoRA 支持。这些更新提升了推理性能、扩展了模型兼容性，并优化了大规模部署的灵活性。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
# Highlights - **CUDA 13 + Torch 2.11**: Default CUDA version moves to 13.0 across SGLang, sgl-kernel, and Docker images, and PyTorch is upgraded from 2.9 to 2.11 — modernizing the build matrix and unlocking newer kernels: #21247, #24162, #24183, #23593 ([tracking issue #21498](https://github.com/sgl-project/sglang/issues/21498)) - **Speculative Decoding V2 by default**: Spec V2 (with overlap scheduling to hide CPU overhead) is now the default, materially reducing per-step CPU cost for EAG
发布时间：2026-05-06 05:28
抓取时间：2026-08-02 00:31
来源机构：SGLang