资讯1 分钟阅读·
预印本：RRI通过对抗性评分标准修复提升开放式任务自我改进效果，HealthBench得分提高超10分
新研究提出RRI方法，利用对抗模型监督评分标准，防止求解器作弊，使9B和27B模型在专业基准上显著提升。
重要性实质性证据E2 未复现写法快讯
递归自我改进（RSI）通常依赖可自动验证答案的任务（如数学、代码），但在临床报告等开放式专家任务中缺乏标准答案，导致模型生成的评分标准容易被求解器“钻空子”——即只罗列关键词而忽略实质内容。
Wei Dai等人提出的RRI（Recursive Reward Improvement）引入一个“奖励黑客对手”来监督评分标准。在训练前，对手尝试编写能欺骗评分标准但无实际价值的回答，同时同一模型在无提示下编写诚实回答；若对手获胜，则通过最多两步修复评分标准，确保诚实回答胜出。
在HealthBench Professional基准测试中，该方法相比仅生成任务的基线，在9B参数模型上调整分数提高10.9分，在27B参数模型上提高12.4分。此外，在PRBench Hard和ProfBench等未见过的跨领域任务上，27B模型也分别提高了6.6分和8.0分。
该结果来自作者自测，尚未见独立复现。