资讯1 分钟阅读·
预印本提出“物体重定向”法:手机人类演示可作跨具身机器人后训练数据
新研究提出通过记录物体姿态而非手部动作,将手机采集的人类演示转化为不同机器人的后训练数据,模拟测试显示31.2%通过率。
重要性实质性证据E2 未复现写法快讯
一项由Nagasrikanth Kallakuri提出的新方法表明,使用智能手机录制的人类操作视频可以作为不同形态机器人的后训练数据。该方法的核心在于不重定向人手动作,而是重定向被操作物体的运动轨迹。
传统上,人类演示主要用于视觉-语言-动作模型的预训练,难以直接用于特定目标机器人或任务导向的训练。新系统通过提取物体随时间的姿态、接触区间及重建的3D模型,生成一份“无身体依赖”的记录。任何给定URDF模型和简短描述的机器人均可针对该记录进行求解,并在模拟中以演示的物体运动作为基准进行评估。
在包含42次捕捉、8种机器人和157个配对样本的分析中,该方法实现了31.2%的模拟通过率,52.2%失败率,14.0%因运动学可行性检查而被拒绝。值得注意的是,所有被系统标记为不可行但仍强行运行的配对均告失败。目前尚无策略在该记录上进行训练,真实机器人上的执行效果仍待下游验证。