美国麻省理工学院与纽约大学团队开发FLEX系统,用GPT-4o从简短指令推断机器人通用偏好
研究人员开发了FLEX系统,利用大语言模型将人类纠正转化为更广泛的环境规则,使机器人能理解指令背后的意图而非仅执行字面命令。
美国麻省理工学院(MIT)和纽约大学的研究人员开发了一种名为FLEX(Flexible Feature Editing Pipeline,灵活特征编辑管线)的AI辅助机器人学习系统。该系统旨在解决传统机器人运动规划中的一个关键限制:机器人可能理解具体指令,但往往无法识别其背后的原因或将约束推广到类似情况。例如,如果被告知不要把咖啡洒在笔记本电脑上,标准机器人可能不会避免洒在附近的其他电子设备上,除非明确指示。
FLEX通过三种操作修改机器人在规划运动时使用的内部表示:添加(Add)、泛化(Generalize)和掩码(Mask)。它使用OpenAI的GPT-4o语言模型来识别物体之间的关系并解释人类纠正背后的意图。如果携带保龄球的机器人被警告不要将其掉落在马克杯上,系统会推断出通常应避免易碎物体,而不是将马克杯视为唯一潜在危险。同样,关于在纸张附近携带点燃蜡烛的警告可以泛化为避免易燃材料的偏好。
该研究由美国麻省理工学院计算机科学与人工智能实验室的Andreea Bobu领导,团队成员包括Audrey Lee、Nathaniel Dennler和Ilia Sucholutsky。团队在二维导航环境和涉及七自由度Franka机械臂的模拟桌面操作任务中评估了该方法。在顺序实验中,FLEX保持了比仅限于添加或移除特征的方法更高的归一化奖励分数,后者可能会积累不必要的约束或未能泛化早期指令。
另一项研究涉及12名参与者,他们观看模拟机器人运动并用自然语言输入纠正。参与者在理解意图方面对FLEX的评价高于比较方法,多项测量指标显示出统计显著差异。然而,模拟与物理部署之间的区别仍然很重要。参与者研究使用了模拟机器人行为,真实机器人演示被纳入离线评估。研究人员尚未展示在此条件下实时运行的完整自主家用机器人。