阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-10-14 01:33

智能体自我改进

5 节点4 篇5 来源

智能体自我改进正从理论走向工程落地,核心争议在于“闭环”是否必然导致失控。

近期进展显示两条路径:一是低成本优化,如 SelfSearch 仅凭过往记录在4.03美元成本下追平最高分基准;二是实时反馈训练,ComputerSD 通过在线自蒸馏提升电脑操作智能体成功率。更深层的 AIDE² 系统则展示了研究智能体通过8天自主运行发现7次迭代改进,其收益甚至泛化至未见的领域并降低了奖励黑客行为。

【背景】关于风险,OpenAI 研究员 Noam Brown 指出多智能体并行扩展虽效率低于单智能体但能加速特定任务,而 MakerMaker.AI 创始人强调需区分真正的递归自我改进与自动化开发,认为闭合改进循环并不保证“起飞”,关键在于衡量能力与资源成本的比率。

目前尚无定论证明自我改进会无限加速,但模型能力超越人类评估周期带来的对齐挑战已成焦点。

事情怎么走到这一步

  1. 2026-09-22

    Weco AI 发布 AIDE²,展示研究智能体通过递归自我改进在8天内发现7次代码优化,并在隐藏评估中保持性能提升。

    arxiv.org ↗
  2. 2026-09-29

    SelfSearch 论文提交,提出免奖励信号搜索方法,智能体利用过往自我改进记录提升成功率,以4.03美元成本达到 Terminal-Bench 高分。

    arxiv.org ↗
  3. 2026-09-30

    ComputerSD 论文提交,引入在线自蒸馏方法,将GUI执行反馈转化为逐步训练信号,提升电脑操作智能体在OSWorld上的表现。

    arxiv.org ↗
  4. 2026-10-13

    OpenAI 研究员 Noam Brown 在播客中讨论多智能体扩展与递归自我改进(RSI),指出数学突破对RSI的启示及模型超越人类评估周期的安全挑战。

    dwarkesh.com ↗
  5. 2026-10-13

    a16z 播客访谈 MakerMaker.AI 创始人,区分递归自我改进与自动化,强调闭合改进循环不必然导致失控,需关注能力与成本比。

    youtube.com ↗

还没定论的部分

  • 自我改进的收益是否会随着迭代次数增加而出现边际递减,还是像AIDE²所示那样持续泛化?
  • 如何建立有效的机制来检测智能体在自我修改过程中产生的隐性偏差或奖励黑客行为?
  • 当智能体能力超过人类评估周期时,现有的对齐测试标准是否仍然有效?
登录 / 注册
阅读研究雷达投资体系

来源

  • arxiv.orgAIDE²: Recursive self-improvement of AI research agents↗
  • arxiv.orgSelfSearch: Reward-Free Search for Self-Improving Agents↗
  • arxiv.orgComputerSD: Online Self-Distillation from Real-Time Feedback↗
  • dwarkesh.comNoam Brown – Agent swarms, alignment, & recursive self-improvement↗
  • youtube.coma16z Podcast: MakerMaker.AI on RSI vs Automation↗

这一专题下的内容

  • OpenAI研究员Noam Brown谈多智能体扩展与对齐风险2026-10-13资讯

    OpenAI研究员Noam Brown在播客中解释了多智能体系统如何并行扩展测试时计算,指出其效率低于单智能体但能加速特定任务。他分析了近期数学突破对递归自我改进(RSI)的启示,并强调了模型能力超越人类评估周期带来的安全挑战。

  • a16z播客:MakerMaker.AI创始人区分递归自我改进与自动化2026-10-13资讯

    a16z General Partner Martin Casado interviews MakerMaker.AI co-founders Dhaval Adjodah and Owen He. The episode description outlines their distinction between true recursive self-improvement (RSI) and using AI to automate development tasks. They discuss why closing the improvement loop doesn't guarantee runaway 'takeoff' and emphasize measuring capability against resource costs.

  • 自蒸馏新方法让电脑操作智能体训练效果小幅提升2026-10-02资讯

    该方法把执行反馈转成逐步训练信号,作者自测提升有限,方向可关注、待独立复现。

  • 智能体免奖励信号自我改进,4美元追平最高分2026-10-02资讯

    SelfSearch仅凭过往自我改进记录提升智能体成功率,4.03美元搜索成本追平公开比较最高分Codex,属作者自测待复现。