RRI对抗性评分标准
2 节点1 篇3 来源
MIT与微软研究院等机构提出递归奖励改进（RRI）方法，旨在解决大型语言模型在开放式专家任务中因评分标准（Rubric）不完善而导致的“作弊”问题。【背景】传统的递归自我改进（RSI）在数学和代码等有明确答案的任务中表现良好，但在医疗报告等无标准答案的任务中，模型生成的评分标准往往存在漏洞，导致求解器仅罗列关键词而无实质内容即可得分。
RRI引入了一种对抗性监督机制：在求解器训练前，先由一个“黑客对手”生成试图欺骗评分标准的无用答案，同时由同一模型生成诚实答案；若对手得分更高，则触发最多两步的评分标准修复流程，确保诚实答案胜出。此外，发现的漏洞还会反向优化未来任务的生成逻辑。
实验数据显示，在HealthBench Professional基准测试中，RRI使9B参数模型的调整分数比基线提高10.9分，27B模型提高12.4分。值得注意的是，即使不依赖外部模型，仅靠内部对抗也能带来10.3分的提升。该方法的泛化能力显著，27B模型在未见过PRBench Hard和ProfBench任务的情况下，分别提升了6.6分和8.0分。这一进展表明，通过对抗性压力测试来完善自动生成的奖励信号，是突破开放式任务自我改进瓶颈的关键路径。
事情怎么走到这一步
论文《Recursive Reward Improvement via Adversarial Meta-Prompt Evolution》提交至arXiv，提出RRI方法以解决开放式任务中评分标准被利用的问题。
arxiv.org ↗预印本发布，详细阐述RRI如何通过对抗性代理监督评分标准，并在HealthBench等基准上验证其有效性。
arxiv.org ↗
还没定论的部分
- RRI方法在更复杂的法律或金融开放式任务中的具体表现如何？
- 对抗性修复步骤是否会随着任务难度增加而收敛失败？
- 该方法与其他评分标准优化框架（如Meta提出的RRD）相比，在计算成本上有何差异？