直接偏好优化：语言模型如何跳过强化学习实现人类对齐

大型无监督语言模型虽然具备广泛的世界知识，但难以精确控制其行为。传统方法如基于人类反馈的强化学习（RLHF）通过拟合奖励模型并使用强化学习微调策略来对齐偏好，但这过程复杂且不稳定。本文提出直接偏好优化（DPO），证明该约束奖励最大化问题可通过单阶段策略训练精确解决，本质上是在人类偏好数据上求解分类问题。

DPO的核心洞察在于利用奖励函数与最优策略之间的映射关系。它隐式地优化了与现有RLHF算法相同的目标（带KL散度约束的奖励最大化），但无需显式拟合奖励模型、在训练循环中从语言模型采样或进行大量超参数调整。这种简化使得算法稳定、高性能且计算轻量。

在具体机制上，DPO依赖Bradley-Terry等理论偏好模型来衡量奖励函数与经验偏好数据的契合度。不同于先训练奖励模型再优化策略的传统路径，DPO通过变量替换将偏好损失定义为策略的直接函数。给定人类对模型响应的偏好数据集，DPO使用简单的二元交叉熵目标直接优化策略，避免了显式学习奖励函数或在训练期间从策略中采样。

实验表明，DPO在情感调节、摘要和对话任务中，至少与现有的PPO-based RLHF方法一样有效。值得注意的是，使用DPO微调在控制生成情感方面超过了RLHF的能力，并在摘要和单轮对话中提高了响应质量，同时实现和训练起来显著更简单。

对于当前读者而言，理解DPO有助于把握大模型对齐技术的演进逻辑：从复杂的两阶段RL流程转向更直接的监督式偏好学习。例如，假设一个团队希望快速迭代聊天机器人的语气风格，采用DPO可以省去搭建奖励模型和运行RL环境的工程负担，直接利用成对的偏好数据进行高效微调，从而加速产品落地。

《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》发表于2023年。适合从事大模型训练、对齐研究及AI应用开发的工程师与研究人员阅读。建议从摘要和第1节引言开始，重点关注第4节关于DPO算法推导的部分，以深入理解其如何将RLHF转化为分类问题。