世界模型:物理AI的核心在于预测下一帧而非下一个词
바이라인네트워크记者오민선撰文解释世界模型——AI从视频数据中学习现实运动规律、预测动作后果的技术——为何被视为物理AI的核心。文章用Genie 4和NVIDIA Cosmos Policy两个案例说明其合成数据生成与机器人动作规划两类应用,并指出Sim-to-Real Gap和误差累积仍是尚未解决的根本障碍。
谷歌DeepMind在2026年10月27日公开的Genie 4演示中,有一段用文字指令生成的视频:一只冠鹤在黄昏的雪地上走向一架白色钢琴,用喙按下琴键,画面同时带有琴声和踩雪声。这段视频背后起作用的技术叫世界模型(World Model)。它的质量决定了画面是否可信——性能不足时,鹤喙还没碰到琴键声音就响了,或者喙直接穿过琴键;性能足够时,动作自然、物理一致,看起来像真实拍摄。
世界模型的定义可以这样理解:AI从视频等数据中学习现实世界如何运动,从而在给定当前状态和一个动作后,预测接下来会发生什么。바이라인네트워크记者오민선在文章中做了一个清晰的类比——如果ChatGPT这样的语言模型预测的是下一个词,那么世界模型预测的是下一帧画面。这个区别对物理AI至关重要:机器人需要理解的不是语言,而是动作的后果。
物理AI——让机器人等实体在现实世界中自主行动——依赖世界模型,因为机器人必须理解重力、速度、力的作用等基本物理规律。오민선指出,机器人行业目前将世界模型用于两个方向。第一是生成训练数据:机器人不仅可以用真实采集的数据学习,也可以用虚拟环境生成的合成数据训练。过去这类虚拟环境主要靠开发者手动输入物理规则来构建,世界模型的不同在于它从数据中自行学习这些规律,从而生成更逼真的合成数据。但代价是它按学习到的模式绘制画面而非计算物理规则,所以看起来合理但物理上可能不一致。第二是在实际执行时规划动作:视觉-语言-动作模型(VLA)让机器人根据摄像头画面和人类指令决定做什么,加入世界模型后,机器人可以在真正行动之前先在虚拟中测试多种动作的后果,选择最可能成功的那一个。
谷歌DeepMind在10月28日发布的韩文博客中展示了两个方向的结合实验:将Genie 4与Gemini 4 Argon配合,模拟美国机器人公司Apptronik的Apollo人形机器人下跳棋的过程——用户下达任务指令后,Gemini 4 Argon将其分解为多步动作,Genie 4为每一步生成对应的虚拟世界画面。不过文章明确标注这仍是初期研究阶段的演示,未公开用该视频实际训练机器人的结果。NVIDIA今年1月公开的Cosmos Policy则展示了第二个方向:世界模型不仅预测动作后的画面变化,还评估目标达成可能性,使机器人能比较多个候选动作的预期结果。
世界模型的根本限制在于Sim-to-Real Gap——虚拟与现实之间的差距。即使虚拟环境中机器人稳定地拿起玻璃杯,现实中杯子的重量、表面摩擦力和手指施力都可能不同,导致杯子掉落。虚拟训练不等于现实部署。此外,预测时间越长误差累积越大,谷歌DeepMind自己也说明Genie 4在长序列或复杂指令下物体外观和位置可能漂移。复杂物理现象的精确模拟仍是未解决的课题。
对读者而言,这篇文章的实际贡献是提供了一个判断框架:世界模型是物理AI的关键使能技术,它让机器人从被动执行预设规则转向主动预测和规划动作后果;但它目前仍处于从概念验证到实际部署的过渡阶段,Sim-to-Real Gap和误差累积是决定它能否真正改变机器人产业节奏的核心变量。