AI Engineer Conference: Michael Forrester and Whitney Lee Demonstrate Agent Security Boundaries with Burrito Bot Attack
In a workshop at the AI Engineer Conference, Michael Forrester (Accenture) and Whitney Lee (Datadog) used a deliberately vulnerable 'burrito ordering' AI agent to demonstrate how excessive agency allows attackers to access sensitive data. The session compared infrastructure-level controls like Kyverno against AI-specific guardrails like LLM Guard, showing that model refusals are inconsistent and application boundaries must be enforced independently of the model's behavior.
在2026年10月11日发布的AI工程师大会（AI Engineer Conference）工作坊中，来自埃森哲（Accenture）的Michael Forrester和来自Datadog的Whitney Lee展示了一个名为“点卷饼机器人”（burrito ordering assistant）的故意宽松配置的AI代理。该演示旨在让听众直观理解“过度代理权”（excessive agency）的风险：一个看似友好的商业聊天界面，若缺乏严格的应用层边界，可能成为攻击者访问工具、文件乃至集群操作的通道。
工作坊通过三种配置环境逐步深入。第一种环境完全暴露机器人，演示了如何通过外部容器镜像部署并窃取Kubernetes环境中的“秘密食谱”。第二种环境引入了基础设施层面的控制措施，包括使用Kyverno规则限制镜像来源和部署要求。然而，演示显示预期的运行时保护并未一致地阻止对敏感数据的访问，这促使演讲者区分哪些防御有效，哪些仍需修复。
第三种环境则聚焦于AI特定的护栏，允许切换LLM Guard的输入和输出过滤功能。对比结果显示，某些响应会暴露敏感内容，而另一些则会进行脱敏处理或在模型处理前直接拦截请求。此外，演示还揭示了一个隐蔽的信任边界问题：一个天气工具的描述中嵌入了读取内部配置的指令，与合法任务混合在一起。
Forrester和Lee强调，模型在不同尝试中的拒绝行为具有不一致性，因此应用程序的安全边界不能依赖于模型“选择”拒绝。他们利用OpenTelemetry追踪在Datadog中可视化提示词、工具调用和结果，使这种行为变得可检查。最终讨论将代理安全与现有的CI/CD、身份验证、网络和工件控制联系起来，提出了评估AI工作流是否具备清晰边界、合理成本和可验证输出的标准。