AWS实验：微调选SFT还是GRPO，取决于目标行为在基座模型中是否已存在
AWS机器学习团队用GPT-OSS-20B和Qwen2.5-7B两个模型、两类不同任务的对照实验，验证了一条判断规则：SFT教模型完全不会的行为，GRPO只在模型偶尔能做对的行为上精炼。在基座模型已达峰的数学任务上，GRPO没有带来任何提升。
重要性实质性证据E3 可检验写法标准
GPT-OSS-20B是一款开源权重的推理模型，但它有一个顽固习惯：无论用户用什么语言提问，它的思维链几乎总是用英语生成。AWS机器学习团队在50例多语言推理测试中发现，基座模型只有22%的情况用对了目标语言，而这22%几乎全部来自英语样本——法语、西班牙语和意大利语的正确率为零，德语仅10%。
团队随后用监督微调（SFT）训练了1000步，采用LoRA适配器（r=8，α=16），在4台ml.g6e.12xlarge实例上运行。结果很直接：推理语言正确率从22%跳到100%。但答案语言只达到62%——模型学会了用法语思考，却常常在最终回答时切回英语。
这正是GRPO（组相对策略优化）的适用场景。GRPO的工作原理是对每个提示采样一组回答，然后把策略推向高于平均值的那些。如果目标行为在基座分布中的概率为零，GRPO就几乎没有可强化的信号。SFT之后，模型已经能在100%的情况下用正确的语言推理，并且偶尔也能用正确的语言给出最终回答，这就为GRPO提供了可强化的信号。