返回全部动态
DeepSpeed v0.19.4 补丁发布：多项修复与增强
原标题：v0.19.4 Patch Release
AI 摘要
DeepSpeed 发布了 v0.19.4 补丁版本，包含多项修复和改进，涉及 ZeRO 优化、AutoTP、MoE 路由、学习率调度器、梯度累积等。该版本增强了 ZeRO-3 推理、AutoTP 的 HuggingFace 支持，并修复了多个 bug，提升了稳定性和性能。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
## What's Changed * Validate warmup_type in WarmupCosineLR like WarmupLR by @sohumt123 in https://github.com/deepspeedai/DeepSpeed/pull/8151 * Run pull request code only inside a Modal Sandbox by @tohtana in https://github.com/deepspeedai/DeepSpeed/pull/8170 * [AutoTP] Allow ZeRO stage 3 inference with tensor parallelism by @delock in https://github.com/deepspeedai/DeepSpeed/pull/8167 * Fix autotuning get_val_by_key to search all nested subdicts by @ebarkhordar in https://github.com/deepspee
发布时间：2026-08-06 10:10
抓取时间：2026-08-06 21:49
来源机构：Microsoft