SFT与GRPO选型之争
4 节点0 篇4 来源
【背景】在大模型微调中，选择监督微调（SFT）还是组相对策略优化（GRPO）常令开发者困惑。近期多项独立研究——包括美国亚马逊云科技（AWS）、加拿大Dialpad公司及瑞士Idiap研究所——通过对照实验揭示了一条核心原则：SFT用于教授基座模型完全不具备的行为，而GRPO仅适用于精炼模型偶尔能正确执行的任务。
若目标行为在基座模型中的概率为零，GRPO因缺乏可强化的样本而失效；反之，若模型已具备一定能力但存在波动，GRPO可通过奖励机制提升稳定性。例如，AWS发现GPT-OSS-20B在多语言推理上基础准确率极低时，SFT将其提升至100%，而GRPO仅在答案语言准确性上有微弱增益。Dialpad的研究进一步表明，在工具调用任务中，SFT+LoRA在分布内性能上优于GRPO，后者仅在跨数据集迁移时有不足1点的微弱优势。
因此，决策关键在于评估“能力差距”：差距大用SFT，差距小且有明确奖励信号时用GRPO或两者结合。
事情怎么走到这一步
Trelis Research发布分析指出，对于数学推理任务，若基座模型已有一定解题能力，SFT配合拒绝采样往往比直接GRPO更稳健，GRPO可能因格式奖励导致准确率下降。
trelis.substack.com ↗Idiap研究所等机构发表论文《When Synthetic Speech Is All You Have》，证明在合成语音ASR适配中，GRPO相比SFT能将词错误率（WER）降低40%，因为RL优化序列级指标而非逐token交叉熵。
arxiv.org ↗Dialpad公司发表受控研究，对比Qwen3系列模型的工具调用能力。结果显示SFT+LoRA在18个分布内设置中15次胜出，GRPO仅在跨数据集迁移时略优，且平均优势小于1个百分点。
arxiv.org ↗AWS机器学习团队发布博客，通过GPT-OSS-20B和Qwen2.5-7B实验验证：SFT将多语言推理准确率从22%提至100%，而GRPO在基座模型已达峰值的数学任务（GSM8K）上零增益，仅在有余量的任务上提供+8%的答案语言准确性提升。
aws.amazon.com ↗
还没定论的部分
- 在何种具体的奖励函数设计下，GRPO能在SFT之后产生显著的叠加效应而非边际递减？
- 对于资源受限的边缘设备部署，GRPO的高计算开销是否使其在实际生产中不可行？