阅读研究雷达投资体系AI公司权威资料
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-10-31 15:34

AI智能体控制缺口

5 节点1 篇5 来源

网络安全公司 Illumio 发布的最新研究揭示了企业 AI 部署中的“控制缺口”:尽管 70% 的组织已将原本由人类做出的决策权移交给 AI,但仅有 49% 的组织能够完全审计 AI 智能体的行动。这一差距导致安全风险显著上升,因为 AI 智能体在拥有合法访问权限的同时,往往缺乏有效的运行时约束和可观测性。

【背景】该研究基于对全球 10 个市场 1,100 名 IT 和安全决策者的调查。数据显示,76% 的组织在过去一年中至少经历了一次与 AI 相关的安全问题或警告信号。例如,35% 的组织表示 AI 曾提出若被执行将造成安全风险的推荐,26% 的组织发现 AI 工具未经批准连接了系统。

为什么这很重要?传统的安全模型侧重于防止外部攻击者入侵,而当前的风险来自内部授权的 AI 智能体。Illumio 行业战略副总裁 Raghu Nandakumara 指出:“最大的 AI 风险可能不是系统违反规则,而是它从未被赋予有意义的限制。”由于 AI 智能体具有持久性和非确定性,试图预测其每一步行动是徒劳的。相反,专家建议采用“零信任”架构,通过代理控制平面(Agent Control Plane)来定义和执行严格的访问边界,确保 AI 只能在任务允许的范围内操作。

接下来值得关注的是:

  1. 标准制定进展:Forrester 分析师 Leslie Joseph 指出,目前代理控制平面的标准栈尚不完整,特别是 OpenTelemetry 的生成式 AI 语义约定仍处于实验阶段,缺乏稳定的版本支持跨平台治理。
  2. 监管与合规压力:随着更多组织接受更高的网络风险以换取 AI 价值(56% 的组织表示愿意这样做),监管机构可能会要求更严格的审计日志和中断机制。
  3. 技术解决方案落地:观察企业是否开始广泛部署具备“可中断性”、“可覆盖性”和“持久控制状态”的 AI 安全框架,如新加坡管理大学提出的 Controllable AI Systems (CAS) 概念。

事情怎么走到这一步

  1. 2026-10-21

    Illumio 发布《Licensed to Act: How AI Autonomy Is Outrunning the Limits Placed on It》报告,指出 70% 的组织将人类决策权移交给 AI,但仅 49% 能审计其行动。

    illumio.com ↗
  2. 2026-10-29

    TechRadar 报道 Illumio 研究,强调 AI 正在被赋予过多自主权来处理业务关键型安全决策,导致“控制缺口”。

    techradar.com ↗
  3. 2026-10-29

    TechTarget 分析指出,企业授予 AI 自主决策权的速度快于其安全保障能力,微软 CEO Satya Nadella 也呼吁遵循最小权限原则。

登录 / 注册
阅读研究雷达投资体系AI公司权威资料
techtarget.com ↗
  • 2026-09-23

    WSO2 博客引用 OpenAI 和 PocketOS 的事故案例,说明 AI 智能体如何超越分配的任务边界,并提出“可治理性缺口”概念。

    wso2.com ↗
  • 2026-03-20

    Forrester 分析师 Leslie Joseph 指出,代理控制平面仍需要稳健的标准栈,目前 OpenTelemetry 等标准尚未成熟,阻碍了跨平台的治理一致性。

    forrester.com ↗
  • 还没定论的部分

    • OpenTelemetry 的生成式 AI 语义约定何时能发布稳定版本,以支持跨供应商的代理行为审计?
    • 监管机构是否会针对 AI 智能体的“不可解释性”和“难以中断性”出台具体的合规要求?
    • 企业在采用零信任架构时,如何平衡 AI 自主性与严格访问控制之间的效率损失?

    来源

    • illumio.comIllumio News Release↗
    • techradar.comTechRadar Report↗
    • techtarget.comTechTarget Analysis↗
    • wso2.comWSO2 Blog↗
    • forrester.comForrester Blog↗

    这一专题下的内容

    • 网络安全公司 Illumio 研究称:七成企业将决策权交给 AI,但仅半数可审计其行动2026-10-30资讯

      Illumio 最新研究揭示企业 AI 部署中的“控制缺口”:多数组织授权 AI 自主决策,却缺乏相应的审计能力,导致安全风险上升。