复旦助理教授贾萧松：瓶颈可能不在模型架构，而在模仿学习的目标函数

2022年前后，贾萧松在CARLA仿真环境中做了一个让他改变判断方向的实验。他和团队采集了自己认为几乎无限量的驾驶数据，用100TB硬盘和大量算力训练了更大的模型，数据规模已经大到基本不用担心不够。但结果让他失望：随着数据和模型规模不断增加，驾驶能力并没有实现从'开得还行'到'开得完美'的飞跃，仍然会出现各种问题。

他后来认为，最根本的问题可能在于模仿学习的训练目标。模仿学习优化的是模型行为与人类示范有多接近，而不是这个决策到底好不好。他举了一个仿真中的例子：即使增加很多数据，模型也很难把'红灯停、绿灯行'学到完美，因为它很容易找到一条更简单的规律——前车动，我就跟着动。仅靠这条规律，已经能把绝大多数样本的训练损失降得很低，模型就很难继续去优化剩下那些少数但重要的情况。它学到的是数据中的相关性，而不一定是真正的决策依据。

还有两个更隐蔽的问题。不同的人面对同一个场景，可能采取不同但都合理的驾驶方式，而模仿学习会要求模型尽量接近每条数据中记录的动作。如果使用均方误差这样的损失函数，模型最终倾向于拟合一个平均动作——可平均的开法不一定是合理的开法。更重要的是，模仿学习主要告诉模型什么行为是对的，却很少告诉它什么是错的，以及犯错后应该怎么纠正。人类驾驶数据中很少有车辆把自己卡在路口再设法恢复的情况，模型没有学过这些，一旦自己犯了错就可能不知道怎么办。

如今贾萧松在复旦大学可信具身智能研究院担任助理教授，研究灵巧手与Ego数据。他看到具身智能领域正在大量引入VLA、WAM等新架构，同时仍在Scaling模仿学习。他的判断是：如果这些模型仍然主要依靠模仿学习训练，那么即使换了架构，也不一定能解决模仿学习本身的问题。与其继续在神经网络结构上做各种改进，不如把精力放在数据选择、预训练和后训练上。他觉得'在电路图上雕花就不是一个特别有意义的事情，并没有在解决真问题'。

他预测具身智能会遇到类似自动驾驶曾经的瓶颈。自动驾驶领域已经积累了海量真实驾驶数据，问题不完全是数据不够，而是怎么从里面找到真正有价值的数据——那些少见的困难场景才可能真正影响模型的能力上限。具身智能现在还没有发展到这个阶段，机器人真实操作数据仍然很难采集，所以先通过扩大示范数据让模型获得基本能力完全有必要。但他认为，模仿学习的根本局限不会因为数据多了就自动消失，发展到一定阶段后，问题就不只是怎么获取更多数据，而是怎么让模型真正提高决策能力。

不过贾萧松也承认，他的实验主要在仿真中完成，数据质量和模型规模都会影响结果。强化学习本身也有其困难：从零开始训练收敛非常慢，在CARLA几十种场景中能解决一些问题，但面对真实世界几百种、几千种场景时，他没有信心完全不依赖模仿学习。真正困难的是怎么让一个通用模型的几十种、几百种甚至几千种能力通过强化学习同步提高，这个问题到今天仍然没有彻底解决。