EvoHeir自进化框架
2 steps0 pieces3 Sources
MBZUAI团队发布EvoHeir框架，旨在解决自进化大模型中“选择任务不等于有效学习”的核心缺陷。现有循环（如R-Zero、Agent0）往往盲目继承所有看似可学习的任务更新，导致大量无效甚至有害的参数变动。EvoHeir通过分离“参数继承”与“经验继承”，引入HeirCommit机制冻结并评估更新后的模型，仅当新模型在新鲜测试题上表现优于当前模型时才予以继承；同时利用归档经验修复失败案例。实验显示，该框架将有害更新比例降低68-83%，并在四个骨干网络上使数学平均成绩较最强基线Agent0提升5.3%。这一进展表明，自进化系统的关键不在于生成更多任务，而在于建立严格的“提交前验证”机制，确保只有真正带来性能增益的状态被保留。
How it got here
arXiv预印本《Selection Is Not Learning: Choosing Model Futures》提交，提出EvoHeir框架及HeirCommit机制。
arxiv.org ↗新闻摘要指出EvoHeir能显著减少有害继承，数学成绩提升5.3%，解决自进化大模型的“选择到更新”缺口。
arxiv.org ↗
What is still unsettled
- EvoHeir的“经验归档”机制在长期多轮迭代中是否会因存储成本或检索噪声而失效？
- 该框架在代码生成等非数学推理领域的泛化能力如何？（目前主要强调数学和通用推理）
- HeirCommit所需的“新鲜评估问题”生成成本是否抵消了部分效率收益？