RFG扩散模型推理框架

斯坦福大学团队提出**Reward-Free Guidance (RFG)**框架，旨在解决扩散大语言模型（dLLMs）在推理阶段难以通过额外训练或外部奖励模型进一步提升性能的问题。该框架无需额外训练、数据或显式奖励模型，仅利用现有检查点即可实现推理时的自我改进。

【背景】传统自回归LLM常依赖过程奖励模型（PRM）进行逐步引导，但dLLM的任意顺序生成特性导致中间状态为部分掩码文本，使得直接应用PRM极具挑战。RFG通过将奖励信号参数化为策略模型与参考模型之间的对数似然比，巧妙地绕过了这一障碍。

实验数据显示，RFG在数学推理和代码生成基准测试中表现优异。早期版本（v1）报告准确率提升最高达9.2%，而最新修订版（v2）显示其能将最先进post-trained dLLMs的性能提升最高16.1%，且增益效果可媲美甚至超越资源密集型的强化学习技术。这一进展表明，dLLMs可在不增加计算成本的前提下，通过纯推理阶段的算法优化实现显著的能力跃升。