阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

英伟达Dynamo解释强化学习推理瓶颈的三类约束及对应服务层机制

英伟达技术博客将强化学习训练中的推理瓶颈分解为三类独立约束——最慢rollout决定完成时间、共享前缀导致重复计算、权重更新需要及时分发——并分别说明Dynamo的KV感知路由、ModelExpress增量传输和故障恢复机制如何应对。文章同时汇总了微软AI、CoreWeave、Cognition等客户的采用情况,性能数字为厂商自报。

2026-11-20 04:28

强化学习训练在规模化时,推理服务层面临的核心问题不是单一瓶颈,而是三类相互独立的约束同时作用。英伟达技术博客将这三类约束分别命名为rollout完成时间、重复上下文和权重新鲜度,并指出解决哪一类取决于当前工作负载中哪一类最先成为限制因素。

第一类约束来自rollout完成时间的不均匀性。一个推理rollout可能只包含一次模型回答,而一个编程智能体的rollout可能涉及仓库探索、代码编辑、工具调用和测试执行。当训练步骤要求一组样本全部就绪才能推进时,最慢的那条rollout决定了整个步骤的等待时间。英伟达指出,将请求数量均匀分配到各GPU并不等于将实际工作量均匀分配。

第二类约束是重复计算。强化学习经常对同一任务生成多个解,这些解共享相同的指令、任务描述或代码仓库上下文。如果每个请求都被发送到没有缓存该前缀的worker,GPU就要反复处理相同的输入才能开始生成新内容。

第三类约束是权重新鲜度。训练过程中模型权重持续更新,worker必须在算法规定的采样时机和可接受陈旧度范围内收到新权重,否则产出的样本无法用于下一步训练。

英伟达Dynamo作为服务层,针对这三类约束分别提供机制。对于重复计算问题,Dynamo的路由器在KV缓存复用和worker负载之间做平衡:将共享前缀的请求优先发送到已缓存该前缀的worker以节省计算,但不会把所有请求都堆到同一个worker上造成排队延迟。

对于权重分发问题,Dynamo配合ModelExpress组件采用增量传输。具体做法是:不向每个worker发送完整模型checkpoint,而是传输压缩后的变化量(delta),worker从匹配的基版本重建新权重。兼容的worker之间可以通过NIXL协议直接从对方GPU显存拷贝权重,而不必经过远程存储。

对于故障恢复,Dynamo检测worker丢失后将新请求路由到健康容量,替换worker就绪后加入路由。替换worker可以通过加载checkpoint再依次应用后续delta来追赶训练进度,健康worker在此期间继续生成rollout。

文章汇总了若干客户采用情况:美国微软AI使用Dynamo支持后训练阶段的rollout推理;美国云服务商CoreWeave称Dynamo与ModelExpress将模型权重更新加速至多15倍;美国编程智能体公司Cognition在SWE-1.7后训练中使用Dynamo管理推理worker和路由rollout;Prime Intellect使用Dynamo做分布式推理编排;H Company称Dynamo与ModelExpress将平均训练步骤时间降低至多20%、GPU小时数降低至多5%。上述性能数字均为厂商或客户自报,文章未提供独立复现方法。

开源集成方面,Dynamo已连接verl、NeMo RL、Slime和prime-rl等现有强化学习训练栈。

来源

登录 / 注册
阅读研究雷达投资体系
developer.nvidia.com
NVIDIA Technical Blog
↗
带入研究 →