Box解决方案工程师Hébrard：AI代理的瓶颈不是模型，是内容

当企业从AI copilot转向自主代理时，一个常被低估的约束是代理所访问的数据本身。Box解决方案工程师Eléonore Hébrard在Sifted与Box联合举办的讨论中给出了一个简洁判断：代理会产生幻觉，在喂入无序数据、发现重复或过时文件时就会失败——问题不在AI，在内容。她同时指出，代理的速度和容量使错误的爆炸半径远大于人类操作失误，因此数据治理不是可选项而是前提条件。

Ralio联合创始人兼CTO Leo Rosales从另一个角度切入：对第三方AI模型本身保持怀疑。他介绍其公司的做法是假设模型已被攻破，围绕这一假设构建控制层。他们定义代理能做什么、不能做什么，并在代理试图执行超出授权范围的操作时直接阻断。这不是对模型输出的局部校验，而是对整个模型可靠性的根本不信任——零信任的含义在这里是对模型本身的默认敌意假设。

Deliverance AI创始人兼CEO Mick McNeil将代理部署比作新员工入职。他不会在第一天就让新销售员拥有全公司系统的完整权限，而是给出角色范围、逐步开放系统访问，并由管理者持续观察。代理的自主权应当随时间赢得，而非一次性授予。他强调，给代理知识的同时必须给上下文——就像为人类定义角色范围一样，必须指示代理在看到数据时如何思考和行动。

在权限管理的具体操作上，Hébrard强调代理不应拥有宽泛的系统访问，权限必须是任务特定的、有时间限制的、上下文感知的。Geordie AI联合创始人兼首席AI官Hanah-Marie Darley则指出了两种被忽视的风险。其一是沉默失败：代理在运行，但组织不了解其实时行为，可能发生了问题却没有触发任何警报。其二是人类监督的虚化：很多团队没有明确指定谁是人、这个人需要什么信息才能做出判断，导致看似有人把关实则监督效果反而降低。

这些建议的共同前提是：代理正在从生成文本转向执行操作，一旦接入数据库，错误的后果会急剧扩大。McNeil指出，人类始终应当保持问责——是人赋予代理执行能力，而非相反。Hébrard则要求组织在内容层执行动态安全控制，记录每一步提示和推理，确保审计时能解释百分之百发生了什么。

需要注意的边界：本次讨论由智能内容管理平台Box赞助，四位嘉宾分别来自AI代理开发、内容管理、AI支付和AI安全公司。强调治理复杂性和内容质量的重要性，与他们的商业模式存在天然关联。此外，所有建议均为从业者经验判断，没有提供可量化的实施成本、故障率对比或独立验证的框架有效性数据。它们是有用的实践起点，而非经过验证的标准答案。