《异步深度强化学习方法》:用并行智能体取代经验回放,在单CPU上实现高效训练
长期信息 · 《Asynchronous Methods for Deep Reinforcement Learning》(2016)
2016年,Google DeepMind团队发表了论文《Asynchronous Methods for Deep Reinforcement Learning》(异步深度强化学习方法),提出了A3C算法。在此之前,深度强化学习主要依赖“经验回放”机制来稳定训练,即存储智能体的历史数据并随机采样更新。这种方法虽然有效,但需要大量内存和计算资源,且限制了只能使用离策略算法。
该论文的核心创新在于摒弃了经验回放,转而采用异步并行架构。通过在一台标准多核CPU上运行多个独立的“演员-学习者”线程,每个线程与环境交互并独立计算梯度。这种并行性自然地解除了数据的时间相关性,使训练过程更加稳定,同时允许使用更广泛的在线策略算法(如Sarsa、n-step方法)。
实验结果显示,表现最佳的异步优势演员-评论家(A3C)方法在Atari游戏域中超越了当时的最先进水平。值得注意的是,它仅使用单个多核CPU而非GPU,训练时间却缩短了一半。这一发现证明了无需昂贵硬件或分布式集群,也能实现高效的深度强化学习,为后续算法设计提供了轻量化思路。
信息源:《Asynchronous Methods for Deep Reinforcement Learning》(2016)