模仿学习目标函数瓶颈
2 steps1 pieces3 Sources
复旦大学助理教授贾萧松指出，自动驾驶与具身智能的核心瓶颈可能不在模型架构（如VLA/WAM），而在模仿学习（Imitation Learning）的目标函数本身。他在2022年的实验中发现，即使使用近乎无限的数据和更大算力，仅靠优化“与人类示范的接近程度”无法让驾驶能力从“还行”跃升至“完美”，因为该目标函数未直接优化决策质量或安全性。这一观点得到Waymo等机构研究的支持：纯模仿学习难以处理分布外状态和安全边界，需结合强化学习（RL）进行试错与纠偏。当前具身智能领域若沿用此训练范式而不改变目标函数，恐重蹈自动驾驶覆辙。争议焦点在于如何平衡模仿学习的效率与强化学习的安全性/泛化性，以及是否需引入新的奖励机制或混合策略。
How it got here
Waymo与Google Research发表论文《Imitation Is Not Enough》，指出纯模仿学习在安全与可靠性上存在不足，提出结合强化学习以改善驾驶策略。
arxiv.org ↗复旦贾萧松接受雷峰网采访，基于其ThinkTwice等实验，明确提出模仿学习的目标函数（优化相似度而非决策质量）是限制性能飞跃的根本原因，并警告具身智能可能面临同样问题。
leiphone.com ↗
What is still unsettled
- 如何在大规模具身智能训练中高效融合模仿学习与强化学习，以解决RL收敛慢的问题？
- 是否存在能同时保证行为自然度（模仿）与安全鲁棒性（RL）的新目标函数设计？
- 世界模型（World Models）能否有效缓解模仿学习中因缺乏错误恢复数据导致的分布偏移问题？