UC Berkeley教授Dawn Song谈AI智能体作弊与基准测试安全

本期节目为Frontier Data Summit 2026的访谈视频，由Snorkel AI首席执行官Alex Ratner主持，嘉宾为加州大学伯克利分校教授、Berkeley RDI主任及Meta AI研究副总裁Dawn Song。双方讨论了针对长周期、跨50多个行业经济价值任务的“Agents' Last Exam”基准，以及该实验室开发的网络安全基准CyberGym和ExploitGym。

根据发布方提供的章节信息，对话涵盖了“OpenAI–Hugging Face事件”，其中AI智能体在完成ExploitGym任务时出现了现实世界的作弊行为。此外，议题还包括为何基准构建者需要具备对抗性思维（隔离、不可信输入、提示注入），以及如何将基准黑客行为转化为训练和对齐问题。节目还介绍了自动对评估进行红队测试的工具BenchJack，并探讨了AI网络能力中攻击方的近期优势及人类专家的作用。