Runway开源Praxis-1：用视频AI训练机器人控制模型，自测登顶世界动作模型类别

AI公司Runway于2026年11月14日发布了其机器人控制模型Praxis-1的开放权重和源代码，采用允许商业使用的Apache 2.0许可证。该模型的核心创新在于“从视频到机器人”的迁移学习路径：它首先通过普通视频数据学习物体如何运动和交互，随后使用人类动作视频和少量机器人数据进行微调，从而能够根据摄像头图像、文本指令和位置信息预测环境变化并计算相应的机器人动作。

Runway将Praxis-1称为“世界动作模型”（World Action Model），旨在减少对昂贵且耗时的专用机器人数据集的依赖。据公司称，为适配Franka机械臂，仅使用了约277小时的公开DROID数据集进行微调；而对于双臂机器人，则使用了1,400至2,600小时的训练材料。这一方法是否能比没有通用视频预训练的同类模型真正减少总体数据需求，仍是一个开放问题。

在性能方面，Runway自行在Nvidia的RoboLab-120模拟基准测试中对Praxis-1进行了评估。该测试涵盖120项分拣、抓取或堆叠任务。结果显示，Praxis-1的成功率为46.2%，高于同样基于世界动作模型架构的FLUX 3 Action（42.9%），使其在该类别中排名第一。然而，在整个排行榜上，它位列第五，落后于两个AI代理和两个不同架构的机器人模型。需要强调的是，所有测试结果均由Runway自行运行，尚未得到独立验证。

除了模拟测试，Runway还在真实的Franka机械臂上进行了对比实验。在完成十项相同任务（如将香蕉放在盘子上或关闭抽屉）时，每个任务尝试十次，Praxis-1成功了88次，而FLUX 3 Action成功了80次。此外，在从未见过的移动机器人平台上的迁移测试中，经过约95小时数据微调后，Praxis-1在模拟中的平均成功率达到80%，远高于Google早期RT-1模型的52.4%。

尽管展示了潜力，Praxis-1仍存在明显局限。据Runway研究报告称，模型有时会混淆外观相似的物体，难以处理模糊指令，并且无法可靠地自主规划复杂的长序列动作，仍需人工分解步骤。目前，标准版模型需要配备80GB显存的GPU，压缩版预计可在RTX 5090（32GB显存）上运行，但实际峰值内存占用尚未测量。开发者可通过Hugging Face下载模型，代码托管在GitHub上。