英伟达研究团队提出双滚动强化学习，小模型AIME准确率升至95.4%

英伟达研究团队在arXiv预印本中提出了“双滚动强化学习”（Double-Rollout Reinforcement Learning），旨在解决可验证奖励强化学习（RLVR）中的信用分配噪声问题。该方法不依赖过程奖励模型（PRM），而是对每个采样的推理轨迹进行截断，从截断点生成多个续写，并用这些续写的平均奖励替换原始结果奖励，从而获得更稳健的推理质量估计。

实验数据显示，仅使用DAPO数据集训练Nemotron-3-Nano-30B-A3B模型时，该方法在30个强化学习步骤内将AIME 2026基准测试的准确率提升至95.4%，高于基线GRPO算法的91.5%，且计算成本仅适度增加。此外，结合长度奖励后，该算法在准确性与令牌效率的帕累托前沿上表现优于现有优化方法。