物体重定向机器人训练

【物体重定向与自动化采集】

为解决机器人操作技能训练中“人类演示难以直接复用”与“数据采集成本高”两大瓶颈，近期两项研究分别从数据转换逻辑和生成效率入手提出新方案。

10月14日提交的预印本《Retargeting the Object, Not the Hand》提出一种新方法：不再尝试将人类手部动作映射到不同结构的机器人手上，而是记录物体的姿态变化。该方法允许使用手机等简单设备采集的人类演示，作为任意结构机器人的后训练数据。在模拟测试中，针对8种不同机器人、157个演示对，该方法的通过率为31.2%，失败率52.2%，另有14.0%因运动学不可行被拒绝。作者强调，目前尚未基于此记录训练实际策略，因此“从模拟到真实机器人”的效果仍待验证。

10月15日提交的预印本《DemoStream》则聚焦于自动化生成高质量演示。由NVIDIA研究人员提出的DemoStream系统，利用GPU加速的任务与运动规划（TAMP），通过批量采样和优化约束条件，自主生成适合行为克隆（Behavior Cloning）的训练数据。实测显示，该系统在真实环境中能以平均每小时66次的速度采集演示数据。在仿真实验中，采用任务空间成本函数优化的演示，其下游策略成功率显著高于仅使用关节空间成本或无成本优化的情况（例如在Stack-Three任务中，前者达76%，后者为0%-34%）。在真实世界测试中，基于该管线训练的视觉运动策略在三个任务上的平均成功率为67%。

这两项工作共同指向一个核心问题：如何以低成本、高可扩展性获得大规模、高质量的机器人操作数据？ 前者试图打破“具身差异”壁垒，让普通视频/手机演示可用；后者试图摆脱“人工遥操作”依赖，让算法自动产出可学习的数据。目前两者均处于早期阶段，前者未实机验证策略效果，后者虽实现高速采集但部分环节仍需人工介入（如场景重置）。