英伟达研究团队提出双滚动强化学习，小模型AIME准确率升至95.4%
英伟达预印本显示，通过截断推理轨迹并采样续写来估计奖励，可在少量步骤内显著提升推理模型的准确性和令牌效率。
重要性实质性证据E2 未复现写法快讯
英伟达研究团队在arXiv预印本中提出了“双滚动强化学习”（Double-Rollout Reinforcement Learning），旨在解决可验证奖励强化学习（RLVR）中的信用分配噪声问题。该方法不依赖过程奖励模型（PRM），而是对每个采样的推理轨迹进行截断，从截断点生成多个续写，并用这些续写的平均奖励替换原始结果奖励，从而获得更稳健的推理质量估计。
实验数据显示，仅使用DAPO数据集训练Nemotron-3-Nano-30B-A3B模型时，该方法在30个强化学习步骤内将AIME 2026基准测试的准确率提升至95.4%，高于基线GRPO算法的91.5%，且计算成本仅适度增加。此外，结合长度奖励后，该算法在准确性与令牌效率的帕累托前沿上表现优于现有优化方法。