InstructGPT论文导读:如何通过人类反馈让语言模型听从指令
这篇由OpenAI团队于2022年发表的论文《Training language models to follow instructions with human feedback…
这篇由OpenAI团队于2022年发表的论文《Training language models to follow instructions with human feedback》(训练语言模型以遵循人类反馈的指令)提出了一个核心问题:为什么更大的语言模型并不一定更擅长理解用户意图?作者指出,传统的大语言模型(如GPT-3)虽然参数巨大,但经常生成不真实、有毒或无用的内容,因为它们的目标函数是预测下一个词,而非“安全且有帮助地遵循用户指令”。这种目标与用户意图的不一致被称为“未对齐”(misaligned)。
为了解决这一问题,论文提出了一种名为RLHF(基于人类反馈的强化学习)的方法。该方法分为三个步骤:首先,使用标注员编写的提示和演示数据对GPT-3进行监督微调(SFT),得到基线模型;其次,收集人类对模型输出的偏好排序数据,训练一个奖励模型(RM)来预测人类更喜欢哪个输出;最后,利用这个奖励模型作为信号,通过PPO算法进一步微调监督模型,使其最大化人类偏好的得分。最终得到的模型被称为InstructGPT。
实验结果显示,在人类评估中,参数量仅为1.3B的InstructGPT模型生成的输出比175B参数的GPT-3更受偏好,尽管其参数量少了100倍。此外,InstructGPT在真实性方面也有显著提升,例如在TruthfulQA基准测试中,它生成真实且信息丰富的答案的频率约为GPT-3的两倍。然而,论文也指出了局限性:InstructGPT仍会犯简单错误,如编造事实或未能检测出包含虚假前提的指令;且在公共NLP数据集上存在性能回退现象,即所谓的“对齐税”,尽管可以通过混合预训练分布的更新(PPO-ptx)来减轻这一影响。
对于希望深入理解当前大模型对齐技术基础的读者,这篇2022年的经典论文《Training language models to follow instructions with human feedback》是必读之作,建议从引言和方法部分开始阅读。