长期信息 · 《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》(2023)
大型无监督语言模型虽然具备广泛的世界知识,但难以精确控制其行为。传统方法如基于人类反馈的强化学习(RLHF)通过拟合奖励模型并使用强化学习微调策略来对齐偏好,但这过程复杂且不稳定。本文提出直接偏好优化(DPO),证明该约束奖励最大化问题可通过单阶段策略训练精确解决,本质上是在人类偏好数据上求解分类问题。
DPO的核心洞察在于利用奖励函数与最优策略之间的映射关系。它隐式地优化了与现有RLHF算法相同的目标(带KL散度约束的奖励最大化),但无需显式拟合奖励模型、在训练循环中从语言模型采样或进行大量超参数调整。这种简化使得算法稳定、高性能且计算轻量。
在具体机制上,DPO依赖Bradley-Terry等理论偏好模型来衡量奖励函数与经验偏好数据的契合度。不同于先训练奖励模型再优化策略的传统路径,DPO通过变量替换将偏好损失定义为策略的直接函数。给定人类对模型响应的偏好数据集,DPO使用简单的二元交叉熵目标直接优化策略,避免了显式学习奖励函数或在训练期间从策略中采样。
实验表明,DPO在情感调节、摘要和对话任务中,至少与现有的PPO-based RLHF方法一样有效。值得注意的是,使用DPO微调在控制生成情感方面超过了RLHF的能力,并在摘要和单轮对话中提高了响应质量,同时实现和训练起来显著更简单。
对于当前读者而言,理解DPO有助于把握大模型对齐技术的演进逻辑:从复杂的两阶段RL流程转向更直接的监督式偏好学习。例如,假设一个团队希望快速迭代聊天机器人的语气风格,采用DPO可以省去搭建奖励模型和运行RL环境的工程负担,直接利用成对的偏好数据进行高效微调,从而加速产品落地。
《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》发表于2023年。适合从事大模型训练、对齐研究及AI应用开发的工程师与研究人员阅读。建议从摘要和第1节引言开始,重点关注第4节关于DPO算法推导的部分,以深入理解其如何将RLHF转化为分类问题。
信息源:《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》(2023)