arXiv预印本：新框架解决自进化大模型“选择到更新”缺口，数学成绩提升5.3%

自进化语言模型在每一轮训练中都需要决定下一个模型继承哪个更新版本。当前的循环系统（如R-Zero、Agent0）通常根据任务是否“看起来可学习”来做出这一决定，并继承所有由此产生的更新。然而，arXiv上的一篇新预印本《Selection Is Not Learning: Choosing Model Futures》指出，这种机制存在一个关键的“选择到更新”缺口：大多数经过验证的任务所产生的更新实际上并不能让正确答案变得更有可能出现，但现有循环却全盘继承了这些更新。

为了解决这一问题，研究人员提出了两个新框架。HeirCommit通过冻结更新后的模型，并使用全新的评估问题来决定是继承该模型还是保留当前模型。分析显示，在相同的接受率下，HeirCommit将有害更新的份额减少了68%至83%。另一个框架EvoHeir则进一步将参数继承与经验继承分离开来，利用当前和归档的经验在最终确认前修复失败并保留成功。

在四个不同的骨干网络上的测试表明，EvoHeir在数学和通用推理的平均成绩上表现最佳，其中数学平均成绩比最强的基线方法Agent0提高了5.3%。该框架允许有用的经验得以持久保存，即使产生这些经验的模型本身未被继承。需要注意的是，这是一篇预印本论文，其结果基于作者自测，尚未经过独立复现。