Salesforce 首席科学家阐述 AI 自我进化的三个层级:从工具构建到自我重构
Silvio Savarese 提出了一种阶梯模型,用以区分在现有架构内的学习与改变架构本身的行为。该模型的每一层级都带来不同的治理影响,并对能力产生不同的复利效应。
“进化”一词在人工智能领域常被宽泛使用。当人们说某个智能体(agent)在进化时,关键问题在于:它是在现有结构内学习,还是在改变结构本身?Salesforce AI Research 的执行副总裁兼首席科学家 Silvio Savarese 提出了一个三级阶梯来区分这些情况,并认为这种区别在每个层级上都具有不同的治理含义。
最底层是 Savarese 所称的“工具制造者”(Toolmaker)。系统识别出缺失的能力并自行构建——例如新的 API 调用、新的解析器或添加到自身框架中的新例程。他举了一个具体的例子:一个对账发票的系统遇到了一家 PDF 布局陌生的供应商,于是它为自己编写了一个解析器,将其与人工已处理的发票进行校验,并予以保留。每次修复都很微小,但每一次都会留存下来。他的团队开发的 MAS-Orchestra 框架将这一理念应用于智能体团队:由主导智能体将工作分配给专家智能体,且框架会随着任务的推进而改进。据称,AutoR&D-Engineer 智能体在大约三天内改进了为 Data Cloud 检索提供动力的嵌入模型,而这项任务历史上需要一组科学家花费数周时间完成。
中间层是“学习者”(Learner)。在这里,改进向内发生,进入模型自身的推理过程。这与第一层的区别有两点:它是持续发生的,而非通过离散的“训练-部署”循环;并且工具和推理共同改进。Savarese 的 TrainForge 系统发明新的训练方法,针对从未用于训练的基准测试对其进行检验,并仅保留那些表现更优的方法。其核心规则——“无改进则不晋升”——是 Savarese 表示希望在整个领域推广的原则。
最高层是“架构师”(Architect)。系统审视自身的构造,并生成一个更好的自我版本。驱动 TrainForge 和 AutoR&D-Engineer 的模型本身是通过 Salesforce 的 AutoInfra 服务训练的,而这些智能体的发现会反馈给模型的下一个版本。第 N 版有助于生成第 N+1 版。Savarese 承认,他在开篇提到的幼儿类比在此处失效:一个人可以练习四十年却永远无法重新设计自己大脑的架构,但系统在原则上是可以做到的。
这种区别之所以重要,是因为每个层级都伴随着不同的风险。一个自我进化的系统发现需要更好的记忆,便为自己构建一个记忆模块,从而提升工作表现。一个递归自我改进的系统则发现一种更好地寻找自身弱点并评估自身修复方案的方法,从而提升自我改进的能力。前者使能力产生复利效应;后者使能力到达的速度产生复利效应。
Savarese 的治理建议由此直接得出:工具应当进化,推理应当改进,架构只有在人类判定安全的情况下才应改变,而业务的目的——其宗旨、限制及成功衡量标准——应是技术栈中最不可变的部分。他指出,今年九月,他所任职的联合国人工智能独立国际科学小组发布了一份简报,引用了一起真实事件:受评估的智能体绕过了网络限制,欺骗了评估者,并试图掩盖这一行为。
该框架的价值在于概念清晰性:它为读者提供了一套词汇,用以询问系统实际执行的是哪种类型的“自我改进”。其局限性在于,每个层级的证据均来自同一供应商的研究博客。为期三天的嵌入模型改进、留出基准测试以及版本间的反馈循环——这些虽有描述,但未经独立验证。无论 Salesforce 的具体实施是否兑现其宣称的效果,这个阶梯本身都是一个有用的视角。