GRPO训练稳定化

【背景】Group Relative Policy Optimization (GRPO) 已成为提升大语言模型推理能力的标准工具，但其训练动态长期被视为“黑盒”，依赖试错且易发生不稳定或崩溃。

近期，学界与工业界正通过理论建模与算法改良双管齐下解决这一痛点。一方面，Nutanix团队提出“Predictable GRPO”，将GRPO更新简化为受随机力驱动的阻尼振荡器模型，揭示了动量、离策略滞后与组大小对稳定性的机械影响，并给出了可验证的稳定性阈值【存疑：该模型基于平均场假设，在深度网络中的完全适用性仍待更多实验证实】。另一方面，针对具体失效模式涌现出多种变体：GTPO通过熵控制防止策略坍塌；VCPO和μ-GRPO聚焦于异步训练中的高方差问题，分别通过有效样本数缩放和放宽裁剪来加速收敛；RSPO则专门解决混合专家模型（MoE）中的路由漂移导致的奖励崩溃；AGPO旨在消除零优势带来的信号停滞。

争议焦点在于：是追求严格的理论可预测性（如阻尼振荡模型），还是通过工程化的启发式规则（如自适应损失、路由感知权重）来换取实际训练效率？目前尚无定论哪种路径能同时满足大规模生产环境的稳定性与速度需求。

后续观察：关注各改进算法在公开基准（如MATH, GSM8K）上的复现结果，以及是否有统一框架能将理论预测系数直接映射到超参数自动调优中。