英伟达Cosmos 3

英伟达于2026年5月31日正式发布并开源了NVIDIA Cosmos 3，这是其首个完全开放的“全模态世界模型”（Omnimodal World Model），旨在解决物理AI中感知、预测与行动分离导致的效率低下问题。【背景】传统机器人开发需串联视觉语言模型（VLM）、视频生成器和策略网络，数据在模型间传递时丢失空间细节且延迟高。Cosmos 3采用创新的**混合Transformer（Mixture-of-Transformers, MoT）**架构，通过“推理塔”（自回归VLM）和“生成塔”（扩散模型）共享潜空间嵌入，在一次前向传播中同时完成场景理解、未来状态模拟和动作轨迹生成。

该系列目前提供两个主要版本：Cosmos 3 Nano（16B参数，面向工作站实时推理）和Cosmos 3 Super（64B参数，面向数据中心高保真仿真），并预告即将推出Cosmos 3 Edge用于边缘设备。英伟达同步成立了“Cosmos联盟”，联合Agile Robots、Runway等公司推进开放世界模型标准。这一举措标志着物理AI从碎片化模型堆叠转向统一基础模型时代，大幅缩短训练周期并降低对真实世界数据的依赖。