阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

CoreWeave的Min Jun:智能体流量打破了训练从未考验的网络假设

CoreWeave博客作者Min Jun解释了为什么智能体AI的串行多跳流量模式——其延迟是每一跳的累加而非最坏一跳——迫使网络从拓扑、负载均衡到韧性策略做出与训练截然不同的设计选择。

2026-10-23 00:27

训练大模型时,网络面对的是一个有节奏的问题:数千块GPU同时执行同一个集合通信,周而复始,持续数周。带宽压力巨大,但模式可预测,工程师可以围绕这个节奏来设计。

AI云基础设施公司CoreWeave的Min Jun在2026年8月发表的博客中描述了另一种流量:智能体把任务拆成步骤,调用检索器,调用工具,调用另一个模型,有时调用另一个智能体,每一步都要等前一步返回才能知道下一步是什么。这条串行路径就是智能体链,而它的延迟是每一跳的总和,不是最坏那一跳。

这个区别看似微小,却改变了整个网络设计的逻辑。当数千条这样的链与训练任务和常规推理同时跑在同一组硬件上时,流量不再像批处理作业,而像一场无处不在的、对延迟敏感的、多跳对话。训练从未考验过的假设开始被打破。

Min Jun解释的第一个后果是:不能超卖。当叶交换机向上连接到骨干的容量小于下方节点能产生的流量时,这个缺口在两种流量同时争夺同一条链路之前是不可见的。训练单独运行时可以容忍一定程度的超卖,但混合了同步训练突发和数千条小型顺序智能体请求的网络需要同时满足高聚合带宽和低且可预测的单流延迟,超卖链路无法同时做到这两点。CoreWeave的做法是每一层都保持1:1的无阻塞比率。

第二个后果涉及扩展方式。传统的两层叶-骨干拓扑最终会耗尽交换机的端口基数,解决办法是加第三层,但这增加了跳数——而智能体链恰恰最不能承受额外的跳数和抖动。CoreWeave采用多平面拓扑:把每块GPU的SuperNIC连接分散到两个或更多独立网络平面上,用宽度换深度。Min Jun称这让扁平的两层设计可以扩展到128,000块GPU,是单平面网络覆盖范围的64倍,且无需重新设计。

第三个后果是负载均衡必须从软件移到硬件。传统上由NCCL在软件层决定如何把集合通信流量分散到可用链路,这有两个代价:与主机CPU争抢周期,以及只能事后响应拥塞而非在条件变化时提前绕行。CoreWeave用NVIDIA ConnectX-9 SuperNIC把这项任务移入硬件,让专用硬件路径以线速响应实时拥塞遥测。在其NVIDIA Vera Rubin NVL72部署中,每块GPU的SuperNIC运行最高1,600 Gb/s,交换机与SuperNIC直接协调,用实时遥测而非静态哈希在每条可用路径、平面和轨道上分散流量。

第四个后果是韧性不能集中在一个地方。训练任务停几分钟很贵,但可以从检查点恢复。智能体在十步链的中间卡住,乘以数千条并发链,没有等价的恢复点。Min Jun描述了跨五层构建韧性:拓扑层用多平面和多轨道把流量从降级路径上移开;硅层用BlueField-3 DPU把网络、隔离和策略执行放在专用硬件上,不占用主机CPU;软件层用CoreWeave Kubernetes Service完全去掉hypervisor,使虚拟化故障不会变成租户的问题;运维层用Mission Control在节点越过健康阈值后自动替换;地理层把多个数据中心链接为单一骨干,使跨站工作负载不依赖任何单一设施。

第五个后果是可观测性必须到每一跳。如果慢的那一跳是隐藏的,前面所有设计都无济于事。CoreWeave用NVIDIA网络观测工具追踪从GPU到SuperNIC的逐流性能,把这个智能体链感觉慢这种模糊症状变成工程师可以处理的特定链路或队列。

Min Jun在结尾写道:训练促使行业建造了快速网络,智能体AI将决定哪些网络是为持久运行而建造的。

需要指出的是,这是CoreWeave对自身架构的第一手描述。关于其运营最大的InfiniBand和RoCE网络之一以及最大的DPU部署之一等规模声明均为自报,未经独立验证。128,000 GPU是多平面拓扑的设计上限,文章未说明这是已部署还是规划中的配置。所有性能数字来自厂商自测,非第三方基准。

来源

登录 / 注册
阅读研究雷达投资体系
wf.coreweave.com↗
带入研究 →