Score Centering：用加法修正消除RL训练中的梯度漂移

大规模LLM的强化学习训练通常采用分离式架构：推理引擎负责生成rollout，训练引擎负责计算策略梯度。两者运行在不同硬件上，使用不同的精度、内核和批处理形状，因此对同一个token会产出不同的概率——这就是训练-推理不匹配（TIM）。异步训练进一步加剧了这一问题，因为策略更新可以基于已经过时的rollout进行。

Marek和Ryabinin在论文中的核心贡献不仅是提出修正方法，更是对TIM为何导致不稳定的深入分析。他们证明：在常数奖励设定下，理论上策略梯度应为零（因为所有动作获得相同奖励，没有学习信号）。但引入TIM后，采样器q和训练器p的概率不再抵消，期望梯度变为非零——训练器开始模仿采样器的分布差异，无论奖励是否提供了有意义的信息。这一现象被称为梯度漂移。

更一般地，将策略梯度分解为协方差项后，可以分离出两个部分：漂移项等于期望奖励乘以采样器与训练器概率之比的期望分数；信号项是奖励与分数之间的协方差。漂移项不区分成功与失败的rollout，只依赖奖励的均值。在在线RL中，采样器不断从训练器刷新，漂移会形成反馈回路：TIM导致有偏更新，有偏更新传播到采样器，采样器产生新的有偏rollout——误差逐步累积直至训练崩溃。

Score Centering的做法是：在每个前缀位置，从训练器计算的token级分数中减去采样器下的期望分数。这一减法使得中心化后的分数在采样器分布下期望为零，从而在协方差分解中完全消除漂移项，同时保留信号项不变（因为减去常数不影响协方差）。与重要性采样不同，这是一个加法修正，不引入高方差乘法权重，也不需要截断或掩码来限制极端值。

实际实现中，精确计算采样器在整个词表上的期望分数代价过高（LLM词表通常有十五万token以上）。论文采用top-k近似：只保留采样器概率最高的128个token，用训练器的尾部概率经缩放后近似剩余部分。关键推导利用了训练器自身分布下期望分数为零的性质，使得修正项只需top-k即可计算。实验表明k=128甚至k=32都能达到与全词表近似相当的效果，但漂移消除的保证在近似实现下只是近似的。

在量化引起的轻度TIM下，Score Centering单独使用即可稳定训练。但在严重staleness下（如异步训练中采样器每64步才同步一次），仅靠Score Centering不够——因为学习信号仍在采样器分布下度量，与训练器分布的偏差需要重要性采样来修正。论文建议：当训练器与采样器之间可能出现大幅策略差异时，将Score Centering与截断或掩码重要性采样组合使用。

Cameron Wolfe是Netflix的深度学习研究员，拥有博士学位，其通讯以拆解AI研究论文著称。他在文中引用Nathan Lambert的说法指出：许多前沿RL实验室已在使用这一方法，但此前未公开。