阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 英伟达Cosmos 3快讯1 分钟阅读DisconfirmAI 编辑部

NVIDIA Cosmos研究负责人Ming-Yu Liu:世界模型是工具集,不是单一定义

NVIDIA Cosmos研究负责人Ming-Yu Liu在Machine Learning Street Talk节目中解释了Cosmos 3如何将视觉语言模型与扩散生成器结合,并提出'世界模型'是一组协同训练的工具而非单一定义。

2026-09-16 00:01

Cosmos 3能描述视频、生成视频并输出机器人动作。Ming-Yu Liu向主持人Tim介绍了其架构:视觉语言模型逐token进行推理,其权重随后初始化一个双向扩散生成器,用于视频、音频和动作的生成;一套共享的时间位置编码将运行速率不同的信号对齐。

Ming-Yu Liu将'世界模型'视为一组工具而非单一定义:前向动力学、逆向动力学和策略在容量约束下协同训练,彼此帮助。他提到最实用的线索是测试——神经模拟器不需要准确的成功率,只需像真实世界那样将策略A排在策略B之前,团队便可据此筛选值得实机验证的检查点。Cosmos Dreams将这一闭环思路应用于驾驶和机器人场景。

这一期节目是NVIDIA的付费合作内容。以上所有观点均来自节目组对Liu论述的简介概括,而非逐字稿或独立复现结果。Liu的具体推理过程、限定条件和未提及的失败案例在简介中不可见。Cosmos 3的完整技术细节载于其论文(arXiv:2606.02800),本简介未覆盖该论文内容。

来源

  • podcasters.spotify.com↗
专题

英伟达Cosmos 3

英伟达于2026年5月31日正式发布并开源了NVIDIA Cosmos 3,这是其首个完全开放的“全模态世界模型”(Omnimodal World Model),旨在解决物理AI中感知、预测与行动分离导致的效率低下问题。【背景】传统机器人开…

6 节点2 篇更新于 2026-10-26 02:42

事情怎么走到这一步

登录 / 注册
阅读研究雷达投资体系
  1. 2026-05-31英伟达开发者博客正式宣布Cosmos 3发布,介绍其双塔MoT架构及Nano/Super模型规格,并开源代码与数据集。developer.nvidia.com ↗
  2. 2026-06-01英伟达在GTC台北大会上发布新闻稿,宣布成立“Cosmos联盟”,成员包括Agile Robots、Black Forest Labs等,强调其为全球首个完全开放的全模态物理AI基础模型。investor.nvidia.com ↗
  3. 2026-06-01GitHub仓库发布Cosmos 3正式版标签,确认Nano (16B) 和 Super (64B) 模型权重可用,并列出Text2Image、Image2Video等特定任务变体。github.com ↗

还没定论的部分

  • Cosmos 3 Edge的具体发布日期及硬件兼容性列表尚未公布。
  • 在极端复杂动态环境(如拥挤街道或柔性物体操作)中,单次前向传播的动作生成准确率是否优于多步规划的传统管线?
  • 开源社区对Cosmos 3微调的实际采用率及衍生模型的质量如何?

这条线上还有

  • 英伟达机器人负责人Amit Goel:物理AI需要三台计算机,双塔共享潜空间解决推理与动作的频率错配2026-10-20
读完整专题 →
带入研究 →