英伟达机器人负责人Amit Goel：物理AI需要三台计算机，双塔共享潜空间解决推理与动作的频率错配

Amit Goel在NVIDIA工作了15年，目前负责机器人生态系统和边缘AI产品线，也就是Jetson系列。他在Software Engineering Daily第1958期节目中向主持人Matt Merrill解释了一个对LLM开发者来说可能陌生的事实：训练一个物理AI模型，你需要三台完全不同的计算机。

第一台负责训练模型。Goel说，世界模型处理的数据量比文本LLM大几个数量级——仅15分钟的视频就有数GB。更关键的是，训练时需要同时检索图像、动作指令和文本标注，这些并行数据流对存储和带宽提出了LLM管线从未面对过的要求。NVIDIA为此专门构建了一个叫curator的数据处理栈，因为GPU资源极其宝贵，不能让它等待CPU完成预处理。

第二台负责仿真。Goel解释，编码模型的强化学习验证方式是运行代码、编译、检查是否报错；世界模型的验证方式则是调用物理仿真器，而仿真器需要光线追踪核心来做传感器模拟，这要求另一种GPU。Goel引用了NVIDIA人形机器人研究负责人Jim Fan的一个玩笑来概括这种落差：Jim Fan说'我总羡慕LLM圈的朋友，他们的问题只是GPU不够多；我的问题是传感器数据有一半缺失、同步对不上、训练完还得找仿真环境、部署到真机器人上线缆又断了。'

第三台负责部署。Goel强调，你不能用训练用的基础设施来部署。模型必须经过量化、蒸馏和压缩，跑在机器人内部的小型计算机上。他举了Cosmos 3 Edge的例子：这是Cosmos 3家族的一个40亿参数版本，专门为机器人本体设计，能在名为Jetson Thor的计算机上实时运行。Goel描述Jetson Thor是'护照大小、2000 teraflops算力'的设备，目前1X机器人和波士顿动力人形机器人都在使用它。

这三台计算机的分裂背后，是Goel反复强调的一个核心约束：物理世界的输出是连续的，不是离散的。他说，一个机器人可能同时控制30到40个电机，每个电机需要毫秒级连续电流输出，而不是像文本生成那样逐token离散预测。这直接导致了NVIDIA的'双塔'架构选择。

Goel描述的双塔设计是这样的：一个推理塔（reasoning tower）负责规划——根据当前观察、历史帧和目标函数，预测接下来该做什么动作序列，这以较低频率运行；一个动作塔（action tower）负责生成具体的电机控制指令，以极高频率运行。两塔共享同一个潜空间，通过交叉注意力直接交换嵌入，而不是把一塔的输出解码后发给另一塔再编码。Goel说，如果分开部署，解码-编码会拖慢带宽，而机器人系统需要闭环运行，所以NVIDIA选择让两塔在同一个模型内部共存，以高带宽共享上下文。

Goel用了一个类比来解释这个分工：架构师规划你要建什么，执行者按照规划去施工。两者需要访问同样的信息，但对信息的处理方式不同。

关于泛化问题，Goel说当前有两条路径并行推进。第一条是模仿学习：在尽可能多样的环境中收集真实操作数据，让模型见过的分布覆盖现实。但他承认'无论你在真实世界收集多少数据，真实世界的分布是无限的'。第二条路径是把推理模型与分布内数据配对：推理模型从互联网上的文本和视频学习常识，当遇到分布外情况时，它能判断'这最接近我已知的哪种分布'，然后交给动作模型执行。

Goel还提到世界模型的一个独特能力：反事实推理。他引用了NVIDIA自动驾驶团队最近发表的Alpamayo工作，说这个推理模型能预测10种不同的未来，对每种打分，然后选择最安全且最接近目标的那一个。他强调这是世界模型在评估时（evaluation time）就能做的事，不需要等到真正执行。