流式DiLoCo训练
3 节点1 篇3 来源
谷歌 MaxText 团队详细阐述了 流式 DiLoCo(Streaming DiLoCo),这是一种通过碎片化模型参数来消除跨数据中心大语言模型训练中网络等待的分布式训练方法。传统数据并行要求高带宽、低延迟链路,因为所有设备必须在每一步同步梯度。当通过广域网(WAN)连接地理上分离的数据中心时,这种同步会导致严重的计算空闲时间。
工作原理:
- DiLoCo 基础: 由 Google DeepMind 引入,DiLoCo 允许独立的“学习器”(计算切片)在同步之前执行许多本地优化步骤(H 步)。这将通信频率降低了 H 倍。
- 瓶颈所在: 原始 DiLoCo 仍在同步期间一次性传输整个模型的权重增量。在窄带 WAN 链路上,这会产生巨大的周期性流量峰值和阻塞性停顿。
- 流式解决方案: 流式 DiLoCo 将模型划分为 P 个不相交的碎片(通常每层一个加上嵌入层)。它不再每隔 H 步发送整个模型,而是每隔 Δh 步同步一个碎片。这将相同的总通信量分散到所有步骤中,形成均匀的低带宽流,而不是巨大的突发流量。
性能证据: 在两个 TPU v5p-32 切片上测试 Qwen3-32B,并将链路限制为 10 Gbps:
- 标准数据并行:步时升至 55.11 秒。
- 原始 DiLoCo:步时为 7.55 秒。
- 流式 DiLoCo:步时保持在 5.76 秒,与未限速基线速度相当。 在相同训练跨度内,组间流量从 4,258.8 GB 降至 67 GB。该方法已在 MaxText v0.2.5+ 版本中提供。
事情怎么走到这一步
Google DeepMind 发布 DiLoCo 论文,提出通过低频同步实现分布式低通信训练,在 C4 数据集上以 500 倍的通信减少达到同等收敛质量。
arxiv.org ↗《具有重叠通信的流式 DiLoCo》论文提交至 arXiv,详述了通过参数碎片化和通信重叠来降低峰值带宽的方法。
arxiv.org ↗谷歌开发者博客发布文章,解释 MaxText 中的流式 DiLoCo 实现,提供屋顶线带宽计算及 Qwen3-32B 在 10/30 Gbps 下的基准测试对比。
developers.googleblog.com ↗