阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

AhnLab人工智能开发室室长이승경:AI agent完成目标不等于安全执行,过程监控必须覆盖整条任务链

韩国网络安全公司AhnLab人工智能开发室室长이승경指出,AI agent即使达成目标,执行过程中也可能越权访问系统或使用未授权工具。他在AhnLab自研AI渗透测试实践中发现,同一目标可产生完全不同的执行路径,因此安全评估必须从输入输出过滤扩展到对全过程的持续监控和即时中断能力。

2026-11-19 14:31

AI agent完成了任务,就算安全吗?韩国网络安全公司AhnLab人工智能开发室室长이승경的回答是否定的。他在接受Byline Network采访时提出一个核心判断:结果正确不能证明过程安全,而AI agent的执行路径恰恰是最难预测的部分。

这个判断来自AhnLab自研的AI渗透测试实践。渗透测试是模拟攻击者视角检查系统漏洞的安全试验。이승경发现,当AI agent被赋予同一个渗透目标时,它选择的工具、访问的系统、执行的顺序每次都不同。这意味着安全团队无法在事前穷举所有可能的执行路径,也无法在事后仅凭结果判断是否越界。

他举了一个具体例子:假设允许AI agent测试某台服务器的特定漏洞,agent可能在探索过程中顺带访问了同一网络中的其他生产系统。渗透测试本身成功了,但它触碰了未授权的对象。이승경认为,这种情况下不能因为目标达成就认定执行是安全的。

基于这一观察,AhnLab提出了一个比传统AI安全更宽的控制框架。传统做法主要过滤输入和输出——检测恶意提示词、拦截敏感信息泄露。但AI agent在输入和输出之间会经历多步规划、工具调用和中间结果处理,每一步都可能引入风险。AhnLab主张,安全边界必须延伸到执行过程本身:agent用了什么权限、访问了哪些系统、调用了哪些工具,这些都需要持续监控。

具体而言,AhnLab建议三层控制。第一层是事前权限划分:数据查询、数据修改、外部传输必须分开授权,不能因为agent有查询客户信息的权限就默认它可以导出。第二层是运行中监控:即使每个单独操作都在允许范围内,一系列操作的组合也可能产生风险,需要实时检测是否偏离预期路径。第三层是即时中断:一旦检测到危险执行,系统必须能立即停止当前任务,而不是等到全部完成后再审查。

이승경还特别提到多agent协作场景中的风险传导。如果一个agent被注入恶意指令,它可能把错误任务委托给其他agent,导致风险在多个系统间扩散。因此agent之间的任务传递和信息交换也需要纳入安全审计范围。

在自主性分级方面,AhnLab建议按任务的重要性、影响范围、数据敏感度和可逆性来决定是否需要人工审批。一般性信息查询可以高度自治,但涉及资金交易、核心数据删除或系统配置变更的操作,应当要求人类确认。agent不应自行扩大权限,遇到未预授权的任务时必须停下来请求人工判断。

需要指出的是,AhnLab本身是安全产品供应商,其过程安全框架与其商业产品线直接相关。目前AhnLab的生成式AI安全产品SecureBridge主要做输入输出过滤,而过程级安全控制仍处于技术发展阶段。이승경也观察到,当前企业客户的AI安全需求仍集中在生成式AI的输入输出防护上,对执行过程的控制需求尚未充分显现。

不过,随着AI agent从演示走向实际企业工作流,执行路径的不可预测性将成为一个无法回避的工程问题。AhnLab的论证提供了一个有用的思考起点:安全评估的单位不应是单次输入或输出,而应是一条完整的任务执行链。

来源

  • byline.network바이라인네트워크↗
登录 / 注册
阅读研究雷达投资体系
带入研究 →