VERPO词元级信用分配避免GRPO训练崩溃
作者自报VERPO在五个推理与工具任务上优于GRPO基线,无独立复现。
重要性局部证据E2 未复现写法快讯
VERPO把教师指导拆到词元级做信用分配,可以避免GRPO按整句估计优势导致的优化崩溃,并在五个科学推理与工具使用任务上取得最高多任务平均分。
此前GRPO按整句打分估计优势,作者称这种整句粒度会引发优化崩溃。
作者自报小模型提升更明显;这是作者第一方评测,无独立复现。
方法细节含Fisher移动成本控制器与FEC投影,v4版9月23日更新,是否成立待第三方验证。