阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-22 16:54

流式DiLoCo训练

3 节点1 篇3 来源

谷歌 MaxText 团队详细阐述了 流式 DiLoCo(Streaming DiLoCo),这是一种通过碎片化模型参数来消除跨数据中心大语言模型训练中网络等待的分布式训练方法。传统数据并行要求高带宽、低延迟链路,因为所有设备必须在每一步同步梯度。当通过广域网(WAN)连接地理上分离的数据中心时,这种同步会导致严重的计算空闲时间。

工作原理:

  1. DiLoCo 基础: 由 Google DeepMind 引入,DiLoCo 允许独立的“学习器”(计算切片)在同步之前执行许多本地优化步骤(H 步)。这将通信频率降低了 H 倍。
  2. 瓶颈所在: 原始 DiLoCo 仍在同步期间一次性传输整个模型的权重增量。在窄带 WAN 链路上,这会产生巨大的周期性流量峰值和阻塞性停顿。
  3. 流式解决方案: 流式 DiLoCo 将模型划分为 P 个不相交的碎片(通常每层一个加上嵌入层)。它不再每隔 H 步发送整个模型,而是每隔 Δh 步同步一个碎片。这将相同的总通信量分散到所有步骤中,形成均匀的低带宽流,而不是巨大的突发流量。

性能证据: 在两个 TPU v5p-32 切片上测试 Qwen3-32B,并将链路限制为 10 Gbps:

  • 标准数据并行:步时升至 55.11 秒。
  • 原始 DiLoCo:步时为 7.55 秒。
  • 流式 DiLoCo:步时保持在 5.76 秒,与未限速基线速度相当。 在相同训练跨度内,组间流量从 4,258.8 GB 降至 67 GB。该方法已在 MaxText v0.2.5+ 版本中提供。

事情怎么走到这一步

  1. 2023-11-13

    Google DeepMind 发布 DiLoCo 论文,提出通过低频同步实现分布式低通信训练,在 C4 数据集上以 500 倍的通信减少达到同等收敛质量。

    arxiv.org ↗
  2. 2025-01-30

    《具有重叠通信的流式 DiLoCo》论文提交至 arXiv,详述了通过参数碎片化和通信重叠来降低峰值带宽的方法。

    arxiv.org ↗
  3. 2026-11-19

    谷歌开发者博客发布文章,解释 MaxText 中的流式 DiLoCo 实现,提供屋顶线带宽计算及 Qwen3-32B 在 10/30 Gbps 下的基准测试对比。

    developers.googleblog.com ↗

还没定论的部分

登录 / 注册
阅读研究雷达投资体系
  • 流式 DiLoCo 在真实世界多区域部署中如何扩展到超过 32B 参数的模型?
  • 与标准 FSDP 相比,外层优化器状态的具体内存使用权衡是什么?
  • 来源

    • developers.googleblog.com谷歌开发者博客↗
    • arxiv.orgarXiv: 流式 DiLoCo 论文↗
    • arxiv.orgarXiv: DiLoCo 原始论文↗

    这一专题下的内容

    • MaxText 流式 DiLoCo:将模型切成碎片逐步同步,消除跨数据中心 LLM 训练的网络等待2026-11-20资讯

      Google 工程师解释了 Streaming DiLoCo 的核心机制:把模型参数按层分成若干碎片,每步只同步一个碎片而非整个模型,用均匀小流量替代周期性大流量,从而在窄带 WAN 链路上维持接近线速的训练吞吐。文章给出了屋顶线带宽计算、Qwen3-32B 在 10/30 Gbps 下的自测对比,以及 MoE 架构上的收敛验证。