阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化5 分钟阅读DisconfirmAI 编辑部

Datadog安全工程团队:AI能找到漏洞,但判断可利用性需要把人类安全知识编码为不变量

Datadog安全工程团队详细描述了他们的agentic漏洞猎杀系统:核心不是让AI更聪明,而是给它一份人类审核过的'威胁包',把安全要求写成不可违反的不变量,再用两阶段过滤和重复基准测试确保发现既准确又可复现。

2026-11-18 08:00

Bianca Lankford、Matt Meen和Adrien Peronnet是Datadog安全工程团队的成员,他们在一篇工程博客中描述了一个在AI漏洞发现中反复碰到的瓶颈:今天的模型确实能通过代码审查找到潜在漏洞,但真正难的是判断这些问题在考虑了服务的业务逻辑和已有安全控制之后是否真的可被利用。在Datadog的规模下,一个生产服务可能依赖数十个团队维护的框架、基础设施和其他服务,一个代理在审查某个仓库时看不到那些团队提供的认证检查或网络限制,也不知道该服务必须遵守哪些安全要求。

他们的解法叫'威胁包'(threat pack),是一份紧凑的、经过人工审核的文档,把领域专家的安全知识转化为代理在猎杀过程中可以使用的上下文。每个威胁包由两个文件组成:一个Markdown文件包含系统概述、安全不变量、审查优先级和已知补偿控制四个部分;一个YAML元数据文件标识包的范围、维护者和代码位置。他们把包控制在大约300行以内,目的是给代理足够的上下文,同时只占用其上下文窗口的一小部分。

所谓'不变量',是系统必须始终维持的安全属性。文章举了一个具体例子:一个隔离代码执行服务的安全要求是'客户机内部的代码绝不能触及Kubernetes节点、主机文件系统、容器运行时或云元数据服务'。一个审查者可以手动搜索涉及文件系统或网络套接字的调用,但判断这些调用是否违反规则还需要更多细节——比如客户机内部的root权限是预期行为、Kata microVM提供了客户机与主机之间的信任边界、Kubernetes和Cilium策略约束了工作负载、出口代理是唯一批准的外部网络路径。这些保护机制有些能从源码中部分看出,但无法完整说明服务被允许或被禁止的访问范围。把这条要求记录为不变量,再配上信任假设和补偿控制,代理就有了明确目标:寻找一条可达路径来打破该要求,同时考虑可能阻止攻击者利用它的保护措施。

猎杀产出的候选发现必须经过一个过滤阶段。第二个代理充当'裁判',对照威胁包审查每个候选报告:它必须点名一条已声明的不变量,识别攻击者可达的入口点,并解释该路径如何可能违反不变量。满足这些条件的成为'合格发现',进入后续的概念验证尝试;不满足的成为'不合格发现',在复现之前就停止,不进入自动分诊或修复流程。不合格报告被保留下来,供审查者识别威胁包中缺失的上下文或代理遗漏的证据,反过来改进包本身。

为了在更换模型、提示词或代理框架时防止能力回退,他们建立了一套基准测试方法。基准集包含43个已验证漏洞,覆盖九个威胁包对应的系统,来源包括开源仓库、面向客户的产品和内部系统。每次基准猎杀开始前,威胁包版本、仓库快照、运行配置和参考发现全部冻结。猎杀代理只拿到代码和威胁包,看不到参考发现。每个配置独立重复运行多次,之后由一个独立的'语义裁判'将结果与隐藏参考发现进行比对——它比较的是攻击者能力、被违反的边界、根本原因和可利用路径,而非字面措辞。

衡量一致性用两个指标:union detection(在所有有效重复中至少发现一次)和stable detection(在大多数独立运行中都能发现,当前阈值是10次中至少7次)。这个阈值是工作值,他们计划随着数据积累继续调整。如果旧配置在10次中找到8次而新配置只找到2次,他们会调查该变化是否降低了检测概率,并将这一降幅与同一配置各次运行之间的正常波动进行比较,以判断变化是否真的是原因。

这套方法已经产出了具体成果。使用威胁包的猎杀在开源组件中发现了客户机到主机的逃逸漏洞:一个通过Kata Containers的Rust运行时中的virtio-fs实现,另一个由Dragonball的virtio-blk实现中缺失的长度校验导致。文章还描述了一个从单个发现扩展为全面排查的案例:一次SAST扫描发现某个AI辅助功能通过允许外部图片的Markdown渲染器显示模型输出,违反了'Agents Rule of Two'原则——提示注入可以把敏感信息放进图片URL,浏览器请求该图片时就会把信息发送给攻击者。团队替换了渲染器,然后把这条渲染要求作为'通用安全不变量'写入应用用户界面的威胁包中。有了这条要求,代理得以跨整个UI代码库检查不同实现的功能,利用包中的补偿控制排除被保护机制阻断的攻击路径。在记录该不变量后的几天内,猎杀又产生了多个被确认为漏洞的类似发现。

值得注意的边界是:所有效果描述——噪声减少、报告质量提升、基准集规模和检测阈值——均为Datadog团队自报,没有独立复现或第三方验证。方法本身依赖持续的人工维护:数百个威胁包需要服务所有者参与构建和审核,不变量需要随系统变化更新。对于没有同等规模安全工程团队的组织,这套方法的初始投入和长期维护成本是需要评估的实际约束。

登录 / 注册
阅读研究雷达投资体系

不过,其核心设计思路——把人类安全知识编码为代理必须满足的形式化约束,再用约束违反作为过滤判据——不依赖特定规模。一个团队可以从一个自己理解透彻的服务边界开始,与服务所有者一起记录其安全要求,然后针对已知漏洞重复猎杀,把参考发现排除在代理输入之外,观察它找到了什么、遗漏了什么、以及每次运行的一致性如何。

来源

  • datadoghq.comDatadog↗
带入研究 →