返回全部动态

DeepSpeed 发布 v0.19.8 补丁版本

原标题:v0.19.8 Patch Release

DeepSpeed Releases一手来源开源质量 72

AI 摘要

DeepSpeed 发布 v0.19.8 补丁版本,主要工作是清理和废弃旧组件,包括压缩库残留、loco zero++、sparse_gradients、APEX amp、课程学习、渐进式层丢弃和弹性训练等。同时为 Muon 优化器增加逐头 Newton-Schulz 支持并适配 ZeRO-3 与 BF16_Optimizer,为 AutoTP 增加词表并行 LM head 和 Liger 交叉熵支持,并修复 ZeRO-1/2 梯度桶丢失、共享内存内存泄漏等缺陷。该版本还扩展了 NPU/CANN 与 supa 的主机内存注册支持。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

## What's Changed * Deprecate leftovers of compression library by @hwchen2017 in https://github.com/deepspeedai/DeepSpeed/pull/8535 * Update version.txt after 0.19.7 release by @loadams in https://github.com/deepspeedai/DeepSpeed/pull/8555 * Deprecate loco zero++ by @hwchen2017 in https://github.com/deepspeedai/DeepSpeed/pull/8534 * Deprecate sparse_gradients by @pengdurice in https://github.com/deepspeedai/DeepSpeed/pull/8504 * docs: stop Codex false-alarm on DCO sign-off by @delock in htt


发布时间:2026-10-20 23:21
抓取时间:2026-10-21 00:21
来源机构:Microsoft
阅读原文github.com