英伟达Cosmos 3
4 节点1 篇4 来源
英伟达于2026年5月发布Cosmos 3，这是全球首个完全开放的“全模态”（omnimodal）物理AI基础模型。该模型采用混合Transformer（MoT）架构，将视觉推理、世界生成和动作预测统一在单次前向传播中，解决了传统物理AI流水线中多模型串联导致的信息丢失与延迟问题。【背景】此前开发者需分别调用Predict、Transfer和Reason等多个独立模型，而Cosmos 3通过双塔设计（自回归推理塔与扩散生成塔）共享潜空间嵌入，实现了推理与动作生成的频率匹配。目前提供Nano（16B）、Super（64B）及即将推出的Edge（4B）三种规格，旨在加速机器人、自动驾驶等领域的合成数据生成与策略训练。
事情怎么走到这一步
英伟达正式推出Cosmos 3，宣称其为世界首个完全开放的全模态物理AI基础模型，支持文本、图像、视频、声音和动作的统一处理。
developer.nvidia.com ↗Hugging Face上线Cosmos 3 Nano (16B) 和 Super (64B) 模型权重，并开源了后训练脚本及用于机器人、自动驾驶等场景的合成数据集。
huggingface.co ↗GitHub仓库更新显示Cosmos 3 Edge (4B) 版本发布，专为Jetson AGX Orin等边缘设备上的实时推理优化。
github.com ↗英伟达机器人负责人Amit Goel在播客中详解Cosmos 3的双塔架构，指出其通过共享潜空间解决低频推理与高频电机控制之间的带宽瓶颈。
softwareengineeringdaily.com ↗
还没定论的部分
- Cosmos 3 Edge在实际部署中的功耗与延迟具体指标尚未公开详细基准测试数据。
- NVIDIA Cosmos Coalition成员（如Agile Robots, Skild AI）基于Cosmos 3的具体商业化应用案例进展如何？
- 相比专用小型模型，Cosmos 3在特定垂直领域（如精密抓取）的后训练成本效益比是否具备显著优势？