返回全部动态
ms-swift v4.5.3 发布:新增多模型支持与性能优化
原标题:v4.5.3
AI 摘要
魔搭 ms-swift 发布 v4.5.3 版本,新增对 Qwen3.8-Flash-Next、DeepSeek-V4-Pro-0813、Ling-3.0 系列等模型的支持,并引入多项新特性,如 Megatron-SWIFT Muon 优化器支持不同学习率、OPD 蒸馏支持多模态、性能优化等。同时修复了训练、RL、Megatron 及多个模型相关的 bug。
以上摘要由 AI 生成,可能存在误差。事实请以原文为准。
正文节选
## New Models - [Qwen3.8-Flash-Next](https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next), a multimodal MoE model with 125B total parameters (~6B activated per token, including a 51B N-gram embedding table). It combines a hybrid GDN + Qwen Sparse Attention (QSA) backbone, hyper-connections, and a host-offloadable N-gram table, with native 262K context. Megatron training is supported. Best practice: [Qwen3.8-Flash-Next-Best-Practice](https://swift.readthedocs.io/en/latest/BestPractices/Qwen
发布时间:2026-09-08 21:00
抓取时间:2026-09-08 21:42
来源机构:魔搭社区