深层强化学习扩展

【背景】长期以来，强化学习（RL）领域普遍认为其问题比语言或视觉模型更难，因此主流研究依赖2至5层的浅层网络，认为深层网络会导致训练不稳定。

Kevin Wang等人发表于NeurIPS 2025并获最佳论文的《1000 Layer Networks for Self-Supervised RL》打破了这一共识。该研究证明，将自监督RL网络深度增至1024层，可使无奖励探索性能提升2至50倍，且能涌现出浅层网络无法表征的新行为模式。随后，Guozheng Ma等人的研究进一步指出，单纯增加深度仍面临“可塑性损失”等优化病症，需结合动态稀疏训练（DST）与模块特异性架构改进才能实现有效扩展。

目前学界对“深度是否为唯一关键因素”存在分歧：一方强调深度带来的质变，另一方则认为必须配合特定的训练策略（如RigL）和架构组件（如层归一化）才能克服扩展瓶颈。未来应关注基于MST框架的大规模RL智能体在真实机器人任务中的泛化能力验证。