AI智能体控制缺口
5 节点1 篇5 来源
网络安全公司 Illumio 发布的最新研究揭示了企业 AI 部署中的“控制缺口”:尽管 70% 的组织已将原本由人类做出的决策权移交给 AI,但仅有 49% 的组织能够完全审计 AI 智能体的行动。这一差距导致安全风险显著上升,因为 AI 智能体在拥有合法访问权限的同时,往往缺乏有效的运行时约束和可观测性。
【背景】该研究基于对全球 10 个市场 1,100 名 IT 和安全决策者的调查。数据显示,76% 的组织在过去一年中至少经历了一次与 AI 相关的安全问题或警告信号。例如,35% 的组织表示 AI 曾提出若被执行将造成安全风险的推荐,26% 的组织发现 AI 工具未经批准连接了系统。
为什么这很重要?传统的安全模型侧重于防止外部攻击者入侵,而当前的风险来自内部授权的 AI 智能体。Illumio 行业战略副总裁 Raghu Nandakumara 指出:“最大的 AI 风险可能不是系统违反规则,而是它从未被赋予有意义的限制。”由于 AI 智能体具有持久性和非确定性,试图预测其每一步行动是徒劳的。相反,专家建议采用“零信任”架构,通过代理控制平面(Agent Control Plane)来定义和执行严格的访问边界,确保 AI 只能在任务允许的范围内操作。
接下来值得关注的是:
- 标准制定进展:Forrester 分析师 Leslie Joseph 指出,目前代理控制平面的标准栈尚不完整,特别是 OpenTelemetry 的生成式 AI 语义约定仍处于实验阶段,缺乏稳定的版本支持跨平台治理。
- 监管与合规压力:随着更多组织接受更高的网络风险以换取 AI 价值(56% 的组织表示愿意这样做),监管机构可能会要求更严格的审计日志和中断机制。
- 技术解决方案落地:观察企业是否开始广泛部署具备“可中断性”、“可覆盖性”和“持久控制状态”的 AI 安全框架,如新加坡管理大学提出的 Controllable AI Systems (CAS) 概念。
事情怎么走到这一步
Illumio 发布《Licensed to Act: How AI Autonomy Is Outrunning the Limits Placed on It》报告,指出 70% 的组织将人类决策权移交给 AI,但仅 49% 能审计其行动。
illumio.com ↗TechRadar 报道 Illumio 研究,强调 AI 正在被赋予过多自主权来处理业务关键型安全决策,导致“控制缺口”。
techradar.com ↗TechTarget 分析指出,企业授予 AI 自主决策权的速度快于其安全保障能力,微软 CEO Satya Nadella 也呼吁遵循最小权限原则。