Two Sigma架构师John Feminella:从花旗银行9亿美元失误看AI代理的五项可控自主权机制
Two Sigma的AI架构与工程负责人John Feminella在最新视频中,以2020年花旗银行误向Revlon贷款方支付约9亿美元(而非800万美元利息)的事件为引子,阐述了如何在不完全锁死系统的前提下赋予AI代理真正的自主权。他提出了五项可组合的控制措施:代理注册表、基于风险的审查、遵循声明目的的工具访问权限、全公司共享评估以及仅将重要审批发送给人类的分类器。该观点仅代表其个人立场,不代表Two Sigma官方意见。
在2020年,花旗银行发生了一起著名的操作失误:尽管程序、警告弹窗和三名审批人都按预期执行了各自的任务,银行仍意外地向Revlon的贷款方发送了约9亿美元,而原本应支付的利息仅为800万美元。这一案例常被用于说明传统人工流程中的系统性风险。
Two Sigma的AI架构与工程负责人John Feminella利用这一故事作为切入点,探讨如何在不牺牲效率的情况下,为AI代理提供真正的自主权。他在视频中指出,简单的“锁定”并非解决方案,而是需要构建更精细的控制层。
Feminella详细阐述了五项可组合的控制措施,旨在解决AI代理部署中的治理缺口:
- 代理注册表(Agent Registry):明确系统中存在哪些代理及其身份。
- 基于风险的审查(Risk-based Review):根据操作的风险等级调整审查强度。
- 工具访问权限遵循声明目的(Tools Follow Purpose):限制代理只能使用与其既定任务相关的工具。
- 全公司共享评估(Shared Firm-wide Evals):建立统一的测试标准以验证代理行为。
- 智能分类器(Classifiers):自动过滤常规请求,仅将真正重要的审批事项发送给人类,以缓解“审批疲劳”。
该视频发布于2026年10月27日,由AI Engineer频道制作。Feminella强调,这些观点仅代表其个人看法,并不反映Two Sigma公司的官方立场。对于正在探索企业级AI代理落地的工程师和管理者而言,这一框架提供了具体的架构参考方向。