凯捷高管:多智能体AI治理需要三层控制架构,而非可解释性
凯捷集团副首席技术官Sudhir Pai与AI未来实验室负责人Mark Roberts认为,扩展多智能体系统需要一种三级控制架构——每个智能体的约束框架、每个系统的控制平面以及企业级控制平面——并需要从“可解释性”转向“遏制”,因为即使每个单独的智能体行为正确,涌现出的交互仍可能产生错误结果。
凯捷集团副首席技术官Sudhir Pai指出了一种区分多智能体生产环境与单智能体测试环境的具体故障模式:每个智能体都可能是正确的,但整个系统却是错误的。问题不在于任何单个智能体的行为漂移,而在于无人设计的交互。随着企业部署越来越多的智能体,现有系统并未被构建用于测试或治理这种涌现的协调机制。
Pai提出的应对方案是一种三级架构。第一级是围绕每个单独智能体的约束框架(harness)。第二级是每个智能体系统的控制平面。第三级,也是他认为将在2027年主导企业议程的一层,是跨所有系统的企业级控制平面。这一顶层必须包含每个智能体和智能体系统的注册表、每个智能体的身份和权限、对交付成果和资源消耗的监控、对智能体如何交互的可见性、对其协同操作能力的限制,以及停止它们的方法。
凯捷AI未来实验室负责人Mark Roberts阐述了安全理念的转变。传统方法——限制智能体访问权限并检查每个决策是否仍在业务规则范围内——假设可以通过审查推理步骤来验证决策。但一些新模型不再展示其所有推理步骤。Roberts认为,即使你能解释每个组件,你仍然不知道整体系统将如何表现。问题不在于更多的可解释性是否带来更高的安全性;而在于宏观层面的遏制能否替代微观层面的理解。他引用交通系统作为类比:你不需要在每一个循环中都有人工监督,但需要在关键位置进行监督,并设置多层保障措施,以便在错误尚小且可恢复时就将其捕获。
该论点源自咨询公司技术领导层的推理,并非经过独立验证的框架。凯捷销售企业AI转型服务,所提议的架构与其可提供的服务相一致。目前尚无公开的部署数据或故障分析支持这一三级模型。遏制的核心前提——即可以在没有完全推理透明度的情况下指定可接受的边界——仍然是一个假设,对于那些边界未设计用来预期的新型涌现交互,该假设可能不成立。凯捷首席创新官Pascal Brier将此定位为组织在2027年面临的主要挑战:在不失去控制的情况下扩展AI自主性。