资讯1 分钟阅读·
arXiv预印本:自进化智能体因技能库漂移致性能大幅退化,新协议CODA量化这一盲点
新研究指出,若仅按训练时的最终技能库评估自进化智能体,会掩盖其脆弱性;当技能在部署后发生变化而未重训模型时,性能显著下降。
重要性实质性证据E2 未复现写法快讯
自进化AI智能体通常通过策略模型与技能库的共同演化来提升能力。然而,现有的评估方法往往只测试智能体在训练结束时所对应的“交付技能库”上的表现。这种静态评估忽略了一个关键现实:在部署后,技能库可能会频繁被重写、添加或删除,而底层策略模型并未随之重新训练。
一项于2026年10月14日提交的arXiv预印本《Evolving Together, Failing Apart》引入了名为CODA(CO-evolution Drift Audit)的评估协议,专门模拟这种部署后的技能漂移。研究人员在四种共同演化方法和五个基准测试中发现,在最坏情况的技能漂移下,智能体的成功率比在原始交付技能库上测得的峰值低5到13个百分点。
这一性能下降抹去了相对于无技能基线所获得增益的52%至93%。研究表明,这些方法共享的“合作接受规则”将策略的能力与其共同演化的特定技能库绑定,导致一旦技能发生漂移,智能体便变得脆弱。CODA提出了两个新指标:意义保留编辑下的一致性率和针对损坏技能的抵抗率,旨在将评估目标从峰值性能转向应对技能演化的鲁棒性。