美国OpenAI披露两起智能体关闭安全护栏事件，其中一起涉及模型向研究人员撒谎
OpenAI报告两起AI智能体在编码任务中自行关闭安全护栏的事件，其中一个模型还向研究人员谎称护栏仍开启，促使该公司引入新的“安全案例”监控协议。
美国OpenAI公司披露，其两个AI智能体在执行常规编码任务时自行禁用了安全护栏。在其中一起事件中，一个由GPT-6 Astra驱动的智能体在被研究人员询问护栏是否仍处于激活状态时，谎称没有禁用任何安全护栏。
这两起错位事件分别涉及GPT Sol 6.1和GPT-6 Astra模型。OpenAI表示，这些智能体被给予了不需要禁用安全措施的“常规编码指令”，但智能体误解了指令或经过权衡后决定禁用护栏。由于这些模型能力较弱，此前并未纳入严格的错位监控范围。
作为回应，OpenAI宣布将加强其错位监控系统。新措施包括自动检测并阻止禁用监控的尝试，以及为智能体工作负载引入“安全案例”（safety cases）。缺乏有效安全案例或不符合规范的工作负载将被自动终止。