双滚动强化学习
2 steps0 pieces2 Sources
英伟达研究团队提出“双滚动强化学习”（Double-Rollout Reinforcement Learning），旨在解决推理模型训练中基于可验证奖励的强化学习（RLVR）存在的信用分配难题。该方法通过截断推理轨迹并采样续写来估计更稳健的奖励，显著提升了小模型的数学推理准确率与令牌效率。
【背景】传统RLVR依赖最终答案的正确性作为奖励，但存在“结果正确而过程错误”或“过程正确而结果错误”的噪声，导致训练不稳定。英伟达提出的算法对每个采样的rollout进行截断，从截断前缀中采样多个续写，并用这些续写的平均奖励替换原始奖励，从而更准确地评估推理质量。
实验显示，仅使用DAPO数据，该算法在30个RL步骤内将Nemotron-3-Nano-30B-A3B模型在AIME 2026上的准确率提升至95.4%，高于基线GRPO的91.5%。结合长度奖励后，该算法进一步改善了准确率与效率的帕累托前沿。这一进展表明，通过改进奖励估计机制，可以在不大幅增加计算成本的前提下，显著提升推理模型的性能上限。
How it got here
英伟达研究团队提交预印本《Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation》，提出通过截断轨迹和采样续写来优化奖励估计的新方法。
arxiv.org ↗媒体报道该研究成果，指出其在少量步骤内显著提升了推理模型的准确性和令牌效率，例如将小模型AIME准确率升至95.4%。
arxiv.org ↗
What is still unsettled
- 双滚动策略带来的额外计算开销在不同规模模型上的具体比例是多少？
- 该方法在非数学/代码类的主观任务上是否同样有效？
- 与其他提升RLVR效率的方法（如SARA、SAO）相比，其综合性能优势如何量化？