智能体自我改进
5 ステップ4 件5 ソース
智能体自我改进正从理论走向工程落地,核心争议在于“闭环”是否必然导致失控。
近期进展显示两条路径:一是低成本优化,如 SelfSearch 仅凭过往记录在4.03美元成本下追平最高分基准;二是实时反馈训练,ComputerSD 通过在线自蒸馏提升电脑操作智能体成功率。更深层的 AIDE² 系统则展示了研究智能体通过8天自主运行发现7次迭代改进,其收益甚至泛化至未见的领域并降低了奖励黑客行为。
【背景】关于风险,OpenAI 研究员 Noam Brown 指出多智能体并行扩展虽效率低于单智能体但能加速特定任务,而 MakerMaker.AI 创始人强调需区分真正的递归自我改进与自动化开发,认为闭合改进循环并不保证“起飞”,关键在于衡量能力与资源成本的比率。
目前尚无定论证明自我改进会无限加速,但模型能力超越人类评估周期带来的对齐挑战已成焦点。
経緯
Weco AI 发布 AIDE²,展示研究智能体通过递归自我改进在8天内发现7次代码优化,并在隐藏评估中保持性能提升。
arxiv.org ↗SelfSearch 论文提交,提出免奖励信号搜索方法,智能体利用过往自我改进记录提升成功率,以4.03美元成本达到 Terminal-Bench 高分。
arxiv.org ↗ComputerSD 论文提交,引入在线自蒸馏方法,将GUI执行反馈转化为逐步训练信号,提升电脑操作智能体在OSWorld上的表现。
arxiv.org ↗OpenAI 研究员 Noam Brown 在播客中讨论多智能体扩展与递归自我改进(RSI),指出数学突破对RSI的启示及模型超越人类评估周期的安全挑战。
dwarkesh.com ↗a16z 播客访谈 MakerMaker.AI 创始人,区分递归自我改进与自动化,强调闭合改进循环不必然导致失控,需关注能力与成本比。
youtube.com ↗
未解決の問題
- 自我改进的收益是否会随着迭代次数增加而出现边际递减,还是像AIDE²所示那样持续泛化?
- 如何建立有效的机制来检测智能体在自我修改过程中产生的隐性偏差或奖励黑客行为?
- 当智能体能力超过人类评估周期时,现有的对齐测试标准是否仍然有效?