传统大模型训练依赖一个紧耦合的加速器集群,所有设备通过高带宽互联在每一步同步梯度。当物理和成本约束使单一集群难以继续扩展时,把计算切片部署到地理上分散的数据中心是自然的下一步。但标准数据并行在广域网上会严重退化:每一步都要传输整个模型的梯度,而 WAN 带宽远低于数据中心内部互联,传输无法被计算完全遮盖,训练就卡在等待上。
DiLoCo(Distributed Low-Communication)由 Google DeepMind 和 Google Research 团队提出,核心思路是降低同步频率。它把训练分成 M 个独立的学习者组,每组在自己的数据上跑 H 步本地优化(通常用 AdamW),期间组间不通信。每 H 步结束后,各组计算权重增量,通过 all-reduce 求平均,再用外层优化器(带 Nesterov 动量的 SGD)更新全局权重。通信量降为原来的 1/H,论文报告收敛质量与标准数据并行相当。
但 Vanilla DiLoCo 有一个遗留问题:虽然总通信量减少了 H 倍,每次同步仍然传输整个模型的权重增量。在窄带链路上,这造成每 H 步一次的大流量尖峰。以 Qwen3-32B(约 320 亿参数,bfloat16)为例,全模型约 65.5 GB。在 10 Gbps 链路上,传输 65.5 GB 需要超过 50 秒,而正常计算步时约 6 秒——每 65 步就有一次 50 秒的停顿。
Streaming DiLoCo 的解法是把模型参数切成 P 个不相交的碎片,在 H 步内每步恰好同步一个碎片。当 P = H 时,每步同步 1/P 的模型,网络看到的是一条几乎均匀的小流量,而非周期性大尖峰。MaxText 的碎片划分方式是 P = N_layers + 1:每个 Transformer 解码层是一个碎片,所有非扫描参数(token embedding、最终层归一化、输出头)是另一个碎片。
这里有一个容易忽略的工程细节:embedding 碎片的体积取决于词表维度,可能远大于单层碎片。如果不处理,同步该碎片的那一步仍然会产生流量尖峰。MaxText 的做法是将 embedding 碎片中的大矩阵均匀拆分合并到其他层碎片中,使所有碎片大小接近,从而真正实现均匀流。
同步顺序也有讲究。MaxText 不按相邻层依次同步,而是交错选取碎片(例如先同步碎片 0,再同步第 k 层,再第 2k 层……)。这保证每一轮同步触及网络中不同深度的层,避免模型某一段长时间处于陈旧状态而其他段在更新。
用屋顶线模型可以精确计算带宽需求。标准数据并行每步传输 2|Θ|b 字节(|Θ| 为参数量,b 为每参数字节数),需要在反向传播时间 t_bwd 内完成,峰值带宽要求约为 2|Θ|b / t_bwd。对于 Qwen3-32B 在 bfloat16 下,这约为 85 Gbps。Streaming DiLoCo 每步只传输 1/P 的模型,带宽需求降为约 85/P Gbps。当 P = 65 时,约 1.3 Gbps——在 10 Gbps 链路上绰绰有余。
Google 团队在 2× TPU v5p-32 切片上用 Linux tc 流量整形模拟了三种网络条件。在 30 Gbps 下,数据并行退化到 19.41 秒/步,Streaming DiLoCo 维持 5.76 秒/步(3.37× 加速)。在 10 Gbps 下,数据并行退化到 55.11 秒/步,Streaming DiLoCo 仍为 5.76 秒/步(9.57× 加速)。Vanilla DiLoCo 在 10 Gbps 下为 7.55 秒/步——比数据并行好得多,但仍有每 65 步一次的周期性停顿。
在收敛质量方面,团队在两个 MoE 架构(Qwen3-30B-A3B 和 Gemma4-26B-A4B)上跑了 4000 步预训练。前约 800 步有短暂调整期,之后 Streaming DiLoCo 的 loss 曲线平滑追踪甚至略优于同步数据并行基线。稳定收敛依赖两个设计:外层使用 Nesterov 动量(β=0.9,学习率 0.3–0.7)而非简单平均;内层 AdamW 的一阶和二阶矩缓冲在碎片同步后保持不变,学习者不会丢失优化器状态。
需要强调的是,上述所有性能数字来自 Google 自有 TPU 集群的自测,使用 Linux tc 模拟网络限制而非真实跨域部署。9.57× 加速出现在 10 Gbps 这一极端受限场景。实际生产中网络条件、拓扑和流量模式可能不同。不过,其核心机制——将大同步拆分为均匀小流以匹配窄带链路——是一个可迁移的分布式系统模式,不依赖于单一高带宽集群。
信息源:developers.googleblog.com