NVIDIA展示AI智能体协作训练机器人的分阶段工作流
NVIDIA团队用Hermes、Nemotron 3.5 Bolt和Astra三个AI智能体,从一条提示词出发,依次完成仿真环境规划、3D资产创建、Isaac Sim环境组装、Isaac Lab强化学习训练(4096个并行环境)和本地策略验证,展示了多智能体间结构化交接包的具体做法。
让一个仿真机器人学会穿越障碍物,需要经历环境规划、3D资产建模、物理仿真组装、策略训练和验证等多个阶段。NVIDIA团队展示了三个AI智能体如何分工完成这条流水线。
流程从一条自然语言提示开始。在RTX Spark本地开发机上,Hermes和Nemotron 3.5 Bolt将提示转化为分步项目计划,包括任务定义、资源清单、预期输出和各阶段指令。计划完成后,Hermes将所有产出打包成一个交接包:项目计划、机器人文档研究摘要及来源链接、概念图、资产清单(含标识符、可见特征描述和裁剪参考图)、以及给下一阶段的执行指令。然后Hermes自动将工作委托给Astra。
Astra接收交接包后开始创建3D资产。它先用云端图像编辑将概念图中裁剪出的低分辨率物体增强为清晰参考,再对比增强图与原始裁剪,确认轮廓、比例和颜色一致。无法从图像确定的尺寸和隐藏面被记录为建模假设。Astra随后指挥FreeCAD构建基础几何体,用Blender添加细节和材质,最终导出USD资产。
训练阶段使用Isaac Lab在云端进行。该实验以Isaac Lab的Microduck示例环境为起点,对一个预训练的行走策略进行坡道和障碍物穿越的额外训练,使用头部相机深度和机器人状态作为观测输入,在NVIDIA RTX PRO 6000 Blackwell工作站GPU上以4096个并行环境运行。训练后的策略返回RTX Spark在Isaac Sim中本地验证,检查障碍物检测、运动调整和赛道完成度。
这篇教程的核心参考价值在于交接机制的具体形态:Hermes不是简单地把文字描述传给Astra,而是打包了结构化的资产清单(含遮挡记录)、研究摘要和执行指令,使Astra能在不重新理解原始提示的情况下直接开始建模。不过,这是NVIDIA对自身产品栈的厂商演示,文中没有给出与非AI辅助流程的时间或质量对比,也没有讨论智能体在哪个环节会失败。