返回全部动态
SGLang v0.5.16 发布：新增 DSpark 解码与 Inkling 模型支持
原标题：v0.5.16
AI 摘要
SGLang 发布 v0.5.16，包含 574 个 PR，来自 169 位贡献者。新特性包括 DSpark 置信度驱动的投机解码算法，在 DeepSeek-V4-Pro 上达到 383.7 tok/s；支持 975B 参数的 Inkling 多模态 MoE 模型；以及多项性能优化和模型支持。同时移除了实验性的 QServe 和 FBGEMM FP8 量化路径，并更新了依赖。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
# Highlights *574 PRs from 169 contributors.* **DSpark: confidence-driven speculative decoding**: A new speculative algorithm. It drafts semi-autoregressively in blocks, then sizes each verify window from the draft's own confidence instead of a fixed draft length. Reaches **383.7 tok/s at accept length ~5** on DeepSeek-V4-Pro, TP8 on B300 (bs=1). Enable with `--speculative-algorithm DSPARK` and `SGLANG_RAGGED_VERIFY_MODE=compact`; tune the block with `--speculative-dspark-block-size` ([#30
发布时间：2026-07-25 08:13
抓取时间：2026-08-02 00:31
来源机构：SGLang