DeepSpeed 发布 v0.19.8 补丁版本
原标题:v0.19.8 Patch Release
AI 摘要
DeepSpeed 发布 v0.19.8 补丁版本,主要工作是清理和废弃旧组件,包括压缩库残留、loco zero++、sparse_gradients、APEX amp、课程学习、渐进式层丢弃和弹性训练等。同时为 Muon 优化器增加逐头 Newton-Schulz 支持并适配 ZeRO-3 与 BF16_Optimizer,为 AutoTP 增加词表并行 LM head 和 Liger 交叉熵支持,并修复 ZeRO-1/2 梯度桶丢失、共享内存内存泄漏等缺陷。该版本还扩展了 NPU/CANN 与 supa 的主机内存注册支持。
正文节选
## What's Changed * Deprecate leftovers of compression library by @hwchen2017 in https://github.com/deepspeedai/DeepSpeed/pull/8535 * Update version.txt after 0.19.7 release by @loadams in https://github.com/deepspeedai/DeepSpeed/pull/8555 * Deprecate loco zero++ by @hwchen2017 in https://github.com/deepspeedai/DeepSpeed/pull/8534 * Deprecate sparse_gradients by @pengdurice in https://github.com/deepspeedai/DeepSpeed/pull/8504 * docs: stop Codex false-alarm on DCO sign-off by @delock in htt