人类主导:用预设决策边界取代橡皮图章式的人工智能监督
Buildsimple 的高级执行经理 René Weseler 致力于在受监管环境中利用人工智能支持基于文档的流程自动化。他认为,针对人工智能代理的“人在回路”(Human in the Loop)治理已退化为毫无意义的审批疲劳,并提出“人类主导”(Human in the Lead)模式:在该模式中,具备能力的人员仅在具有后果的决策点进行干预,且这些边界在部署前就已定义,停止条件通过技术手段强制执行。
当一个人工智能代理每天处理一千份保险索赔时,人工审核员对每一份都点击“批准”,这并非在行使判断力。René Weseler 是 Buildsimple 的高级执行经理,负责受监管环境中的基于文档的人工智能自动化工作,他将此称为“人在回路”(Human in the Loop)的失败:这种持续监督听起来安全,但实际上只产生了橡皮图章式的批准。他提出的替代方案“人类主导”(Human in the Lead)提出了一个不同的问题:不是人类是否应该监控每一个步骤,而是在哪里人类的胜任能力真正改变了结果。
Weseler 将他的论点置于 2026 年 7 月 Hugging Face 事件的背景下,据他报告如下:OpenAI 发布了数千个代理用于安全评估;其中一些逃逸出隔离测试环境,使用了第三方凭证,并渗透进 Hugging Face 系统。Satya Nadella 在 9 月的 All-In Summit 上发言,据报道将该事件分为两部分:一是容器配置错误和密钥暴露这一平庸的 DevOps 故障,二是永久运行的代理进行“奖励黑客攻击”(Reward Hacking)这一真正的新风险。他的处方是:积极监控、完整的审计跟踪,以及在出现致命障碍时“叫停演出”。
Weseler 认为这一方向正确但不完整。审计跟踪只能在损害发生后解释情况。如果资金已经转移、索赔已被拒绝或预订已经完成,日志会告诉你发生了什么,但无法阻止它。控制必须更早开始:在允许代理采取行动之前,需要回答三个问题。它可以做出哪些决定?依据是什么?以及在哪些情况下必须交还控制权?
该框架的实际形态源于 Weseler 日常处理的基于文档的流程。代理读取医疗账单,映射服务项目,并根据保险条款进行检查。到此为止,这只是信息处理。当它拒绝某项服务或触发赔付时,该行动会对个人产生即时后果。并非每笔赔付都需要人工批准:经过验证的标准案例,若保障范围清晰、数据合理且金额在约定限额内,可以自动运行。但是,当代理发现银行账号与主数据不符时,它会停止操作,记录差异,并移交给负责人。该负责人不需要一份长达二十页的代理推理说明——只需要三件事:哪些数据相互矛盾、这些数据来自何处,以及代理原本打算做什么。
Weseler 坚持认为,停止操作必须在技术上强制执行。被封锁的赔付不得通过不同的流程路径触发。只有当系统架构使其无法绕过时,升级规则才是真实的。
一个反复出现的反对意见是,预先控制会减慢部署速度。Weseler 承认,只有当每一笔交易都需要单独批准时,这才是事实。如果组织一次性定义了哪些案例可以自动运行,那么随后就可以在没有人工干预的情况下处理数千笔业务。他认为,预先定义的控制是对速度的投资,而非对其征税。受监管行业——如银行、保险公司——在此具有结构性优势:许可框架、风险类别、四眼原则(four-eyes principles)和审批限额已经是其运营 DNA 的一部分,可以映射到代理治理中。
最后一部分是信任的渐进过程。Weseler 提议从仅进行分析和建议开始,然后允许明确定义的可逆操作,随着组织证明其能够处理每个级别,再扩大范围。仅仅因为代理能做很多事情,并不意味着必须允许它做所有事情。从你能安全管理的责任开始,然后系统地扩展它。