强化学习训练在规模化时,推理服务层面临的核心问题不是单一瓶颈,而是三类相互独立的约束同时作用。英伟达技术博客将这三类约束分别命名为rollout完成时间、重复上下文和权重新鲜度,并指出解决哪一类取决于当前工作负载中哪一类最先成为限制因素。
第一类约束来自rollout完成时间的不均匀性。一个推理rollout可能只包含一次模型回答,而一个编程智能体的rollout可能涉及仓库探索、代码编辑、工具调用和测试执行。当训练步骤要求一组样本全部就绪才能推进时,最慢的那条rollout决定了整个步骤的等待时间。英伟达指出,将请求数量均匀分配到各GPU并不等于将实际工作量均匀分配。
第二类约束是重复计算。强化学习经常对同一任务生成多个解,这些解共享相同的指令、任务描述或代码仓库上下文。如果每个请求都被发送到没有缓存该前缀的worker,GPU就要反复处理相同的输入才能开始生成新内容。
第三类约束是权重新鲜度。训练过程中模型权重持续更新,worker必须在算法规定的采样时机和可接受陈旧度范围内收到新权重,否则产出的样本无法用于下一步训练。
英伟达Dynamo作为服务层,针对这三类约束分别提供机制。对于重复计算问题,Dynamo的路由器在KV缓存复用和worker负载之间做平衡:将共享前缀的请求优先发送到已缓存该前缀的worker以节省计算,但不会把所有请求都堆到同一个worker上造成排队延迟。
对于权重分发问题,Dynamo配合ModelExpress组件采用增量传输。具体做法是:不向每个worker发送完整模型checkpoint,而是传输压缩后的变化量(delta),worker从匹配的基版本重建新权重。兼容的worker之间可以通过NIXL协议直接从对方GPU显存拷贝权重,而不必经过远程存储。
对于故障恢复,Dynamo检测worker丢失后将新请求路由到健康容量,替换worker就绪后加入路由。替换worker可以通过加载checkpoint再依次应用后续delta来追赶训练进度,健康worker在此期间继续生成rollout。
文章汇总了若干客户采用情况:美国微软AI使用Dynamo支持后训练阶段的rollout推理;美国云服务商CoreWeave称Dynamo与ModelExpress将模型权重更新加速至多15倍;美国编程智能体公司Cognition在SWE-1.7后训练中使用Dynamo管理推理worker和路由rollout;Prime Intellect使用Dynamo做分布式推理编排;H Company称Dynamo与ModelExpress将平均训练步骤时间降低至多20%、GPU小时数降低至多5%。上述性能数字均为厂商或客户自报,文章未提供独立复现方法。
开源集成方面,Dynamo已连接verl、NeMo RL、Slime和prime-rl等现有强化学习训练栈。
信息源:NVIDIA Technical Blog