保守Q学习：解决离线强化学习中价值高估的算法框架

在将强化学习应用于现实世界时，直接利用预先收集的数据集而不进行环境交互是一个关键挑战。然而，标准的离策略强化学习方法往往因为数据集与学习到的策略之间的分布偏移而导致价值高估，特别是在处理复杂和多模态数据分布时。针对这一问题，加州大学伯克利分校和谷歌研究院的研究人员提出了“保守Q学习”（Conservative Q-Learning, CQL）算法。该算法的核心思想是学习一个保守的Q函数，使得在该Q函数下策略的期望值低于其真实值，从而防止因分布外动作导致的过度乐观估计。

CQL通过在标准贝尔曼误差目标上增加一个简单的Q值正则化项来实现这一目标。这种方法不仅可以在理论上证明能产生当前策略价值的下界，还能被整合到具有理论改进保证的策略学习过程中。在实际应用中，CQL只需在现有的深度Q学习和演员-评论家实现基础上添加不到20行代码即可实施。实验表明，在离散和连续控制领域，CQL显著优于现有的离线强化学习方法，通常能使最终回报提高2到5倍，尤其是在从复杂和多模态数据分布中学习时表现更为突出。对于希望在不与环境交互的情况下从静态数据中学习有效策略的研究者和工程师来说，《Conservative Q-Learning for Offline Reinforcement Learning》这篇发表于2020年的论文提供了一个稳健且易于实现的解决方案。