返回全部动态
数据中心并行：高效训练可变长序列的新方法
原标题：Training Variable Long Sequences with Data-Centric Parallel
AI 摘要
本文提出了一种名为数据中心并行（DCP）的新方法，用于训练可变长序列的深度学习模型。DCP 通过根据每个批次的序列长度动态调整运行时设置（如并行大小、梯度累积和重计算），打破了效率与易用性之间的权衡。实验表明，在 32 块 H200 GPU 上，该方法实现了最高 2.88 倍的加速，并且只需 10 行代码即可集成到任何模型中。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
Computer Science > Artificial Intelligence Title:Training Variable Long Sequences with Data-Centric Parallel View PDF HTML (experimental) Abstract:Training deep learning models on variable long sequences poses significant computational challenges. Existing methods force a difficult trade-off between efficiency and ease-of-use. Simple approaches use static configurations that cause workload imbalance low efficiency, while complex methods introduces significant complexity and code chan
发布时间：2026-08-11 12:00
抓取时间：2026-08-11 12:04
来源机构：arXiv