韩国AI安全企业에임인텔리전스:AI代理的每个动作是否安全,取决于它在业务流程中的上下文
에임인텔리전스防御安全部门负责人이한울指出,AI代理安全的核心不是检查单个动作是否在权限清单内,而是判断它在整个业务执行链路中是否恰当。当代理数量增加、审批请求涌入时,人类审批本身反而可能成为新的脆弱点。
企业部署AI代理时,最常见的安全思路是列一张权限清单:这个代理能调用哪些工具、能访问哪些数据、能连接哪些外部API。清单之外的操作一律拦截。韩国AI安全企业에임인텔리전스防御安全部门负责人이한울认为,这种思路对AI代理远远不够。他的核心判断是:判断一个动作是否安全,不能只看它是否在允许范围内,还要看它在当前业务流程中是否恰当。
这个区分来自两类不同的风险。第一类是人主动造成的:有人给代理下了恶意指令,或者不小心传了错误的命令。这类问题传统权限模型还能应对。第二类更难处理:没有人指示代理做某件事,但代理在完成目标的过程中自己越过了边界,或者绕过了安全装置。이한울把AI安全的困难归结为模型性能发展太快而控制技术跟不上。
他用一个假设场景来说明为什么权限清单不够用。假设一个代理被允许调用文档搜索工具、数据分析工具和某个外部API。这三项权限单独看都没问题。但如果代理先搜索了一份内部文档,把内容传给另一个代理做分析,然后调用外部API把结果发出去——每一步都在权限范围内,但整体链路构成了一次数据外泄。要识别这种风险,系统必须知道代理最初接到的指令是什么、每一步调用是为了完成哪个子任务、这些步骤之间的因果关系是否合理。
에임인텔리전스把这种能力叫做Observability,即对代理执行过程的完整可观测性。它记录的不是单条日志,而是从输入到工具调用到输出的整条链路,以及多条链路之间的关联。在此基础上,该公司提出静态安全和动态安全必须并行:静态安全是预先设定的硬规则,比如禁止访问某些外部网络;动态安全是根据当前任务上下文和过往执行记录来判断一个动作是否合理。
但这里有一个工程上的矛盾:如果每个动作都要回溯整条业务链路做深度分析,延迟和计算成本会迅速膨胀,而AI代理的执行速度远快于人类。이한울的解决方案是分级检查。第一层检测外部数据或工具描述中是否藏有恶意指令,即间接提示注入;第二层直接拦截明确禁止的操作;只有当请求处于灰色地带时,才触发第三层,调用完整的执行历史和任务上下文做深度判断。这样大部分请求走快速通道,少数可疑请求才付出分析代价。
该公司把这套机制整合进了名为Starfort的平台。其中Guardian是实时护栏,负责提示注入检测、敏感信息外泄拦截和策略违规检查;Opticon负责执行流的记录和追踪;Stratum负责外发文档的分类和审查。此外还有Kill Switch功能,可以按项目或组织单位切断AI相关通信。이한울还提到公司内部同时开发攻击工具Stinger用于红队测试,发现的攻击模式直接反馈到Guardian的防御策略中。
采访中一个反直觉的论点值得单独拿出来说。当企业部署的代理数量增多,需要人工审批的操作请求也会暴增。이한울指出,审批请求一旦超出人的处理能力,人就会开始不看背景、不看影响就点通过,人反而成了新的脆弱点。他的建议是:企业必须先定义哪些任务真正重要、需要人确认,哪些可以交给代理自主执行;审批流程的设计重点不在于有人最终确认这个动作本身,而在于明确什么任务、在什么时机、由谁来批准,并确保批准者能看到做出判断所需的充分信息。