NVIDIA Cosmos研究负责人Ming-Yu Liu:世界模型是工具集,不是单一定义
NVIDIA Cosmos研究负责人Ming-Yu Liu在Machine Learning Street Talk节目中解释了Cosmos 3如何将视觉语言模型与扩散生成器结合,并提出'世界模型'是一组协同训练的工具而非单一定义。
Cosmos 3能描述视频、生成视频并输出机器人动作。Ming-Yu Liu向主持人Tim介绍了其架构:视觉语言模型逐token进行推理,其权重随后初始化一个双向扩散生成器,用于视频、音频和动作的生成;一套共享的时间位置编码将运行速率不同的信号对齐。
Ming-Yu Liu将'世界模型'视为一组工具而非单一定义:前向动力学、逆向动力学和策略在容量约束下协同训练,彼此帮助。他提到最实用的线索是测试——神经模拟器不需要准确的成功率,只需像真实世界那样将策略A排在策略B之前,团队便可据此筛选值得实机验证的检查点。Cosmos Dreams将这一闭环思路应用于驾驶和机器人场景。
这一期节目是NVIDIA的付费合作内容。以上所有观点均来自节目组对Liu论述的简介概括,而非逐字稿或独立复现结果。Liu的具体推理过程、限定条件和未提及的失败案例在简介中不可见。Cosmos 3的完整技术细节载于其论文(arXiv:2606.02800),本简介未覆盖该论文内容。