思科AI安全团队:通用测试库无法发现智能体被攻击者利用正常功能的风险
思科AI安全产品团队指出,AI智能体持有凭证、调用工具、写入记录系统,已不再是应用内的静态功能。通用测试用例库只能发现所有智能体的共同缺陷,无法发现特定智能体因权限、工具和用途不同而产生的独特失败模式——例如客服智能体被诱导给错误的人退款,这不是越狱,而是智能体在执行它的本职工作。
重要性局部证据E2 未复现写法快讯
智能体已经不再只是应用里的一个功能。它持有凭证、调用工具、写入记录系统。这意味着它的安全测试不能沿用传统软件扫描的逻辑:跑一遍测试集,看结果,修掉发现的问题。
思科AI安全产品团队在2026年10月20日的博客中提出了一个具体区分:一个客服智能体被攻击者说服给错误的人退款,这不是越狱。这是智能体在执行它的本职工作,只不过服务对象换成了攻击者。通用测试用例库只能发现所有智能体都会犯的错误,它找不到只有这个特定智能体才会犯的错误。
这个区分解释了为什么测试必须从上下文出发。医疗排班智能体和金融顾问智能体的失败方式不同,因为它们的用途不同、能触达的工具不同、携带的权限不同。思科描述的自适应红队测试流程是:先研究智能体的用途、可触达的工具和已有护栏,推导出该智能体绝不能产生的结果,然后跨多轮对话追逐这些结果,遇到一条路被堵就换另一条。问题从这个智能体能否通过已知攻击变成一个读过你文档的攻击者会尝试什么。
思科同时指出,标准化测试和自适应测试各有分工:前者对照公开框架(OWASP Top 10、MITRE ATLAS、NIST)提供广度和可重复性,后者在最重要的智能体上提供深度。企业无法为每个智能体手写测试计划,但如果测试目标从每个智能体自身的上下文推导出来,就不需要人手写。
需要明确的是,以上描述来自思科对自己产品方法的说明,没有附带独立验证数据、对比实验或第三方评估结果。思科与Workday的合作——Workday Agent Passport目前处于早期访问阶段,思科AI Defense作为其发布评估方——是这一方法的首个公开实践案例,但其实际安全效果尚未经独立检验。