RL信噪比效率论
3 节点1 篇3 来源
针对“强化学习（RL）在信息论上极低效”的质疑，研究者Beren提出基于**信噪比（SNR）**和偏差-方差权衡的解释框架。尽管RL每个样本提供的比特数远少于预训练，但其信号完全聚焦于任务成败，而预训练的逐词预测包含大量与最终任务无关的噪声。这一机制解释了为何RL能在极少步骤内显著提升模型能力，以及为何LLM RL对数值精度和策略陈旧性极度敏感。
【背景】传统观点认为RL仅获取1/rollout_length bits/sample，但实证显示RL在10步内即可产生显著增益，这与信息论直觉相悖。Beren指出，关键在于梯度估计器的信噪比：中间难度任务的梯度SNR最高，而极难或极易任务的梯度被噪声主导。后续研究如SPEED-RL通过在线课程学习最大化SNR，实现2-6倍加速；MoLS则利用模块级SNR校准Adam优化器，解决异构架构中的噪声失衡问题。
事情怎么走到这一步
Beren发布文章《How can LLM RL Work Despite Information-Theoretic Inefficiency》，提出SNR视角解释RL高效性，指出RL信号虽稀疏但噪声低，且对on-policy状态高度敏感。
lesswrong.com ↗Zhang等人提出SPEED-RL算法，理论证明中间难度提示词能最大化梯度估计器的SNR，实验显示该方法可加速RL训练2至6倍而不降低准确率。
arxiv.org ↗Wen等人提出MoLS方法，分析发现LLM不同模块存在梯度噪声失衡，通过估算模块级SNR自动缩放Adam更新率，提升收敛速度和泛化能力。
arxiv.org ↗
还没定论的部分
- 如何量化预训练中“与任务无关噪声”的具体比例，以精确对比RL与预训练的SNR差异？
- 在大规模分布式训练中，trainer与rollouter之间的微小数值差异如何通过SNR机制导致训练崩溃？
- 除了中间难度采样，是否有其他动态调整数据分布的方法能进一步提升RL阶段的梯度SNR？