OpenAI详述反蒸馏防御:推理提取攻击成功率降至0.2%
OpenAI报告称,GPT-6.2 Astra的新安全措施将受保护推理的提取攻击成功率从54%降至0.2%,凸显了对抗性蒸馏的安全风险。
OpenAI发布了一份关于其对抗性蒸馏防御措施的详细说明。对抗性蒸馏是一种技术,不良行为者利用前沿模型的输出来训练具有类似能力但缺乏适当安全保护措施的其他模型。该公司强调,这在网络安全和生物学等双重用途领域构成了重大安全风险,因为蒸馏后的模型可能会协助进行原始模型会拒绝的攻击。
OpenAI战略的核心组成部分是保护模型的“思维链”或中间推理步骤,这些步骤对于学生模型来说是宝贵的训练数据。在使用自动化红队测试的内部自适应评估中,OpenAI测试了攻击者是否能够恢复这种受保护的推理。结果显示,GPT-6.2 Astra有了显著改进:在实施更新的安全措施后,平均攻击成功率从前一版本(GPT-6 Astra)的54.0%降至GPT-6.2 Astra中的仅0.2%。
该公司还分享了关于网络能力如何通过蒸馏转移的内部研究结果。当学生模型使用确切的推理轨迹而不是仅使用最终响应或摘要进行训练时,它们通常表现优于使用摘要训练的模型,尤其是在较大的推理预算下。这表明,即使底层任务是良性的,保护确切的推理轨迹也可以限制危险网络能力的转移。
OpenAI的防御栈结合了多个层次:帮助模型识别和拒绝提取尝试的防御性训练、检测泄漏的输入/输出分类器,以及将受保护推理与特定对话历史绑定的API级保护措施。如果消息被重写,随后的推理将被丢弃。此外,具有较弱安全措施的旧模型系列被禁止读取新模型(如GPT-6.2 Astra和Sol)的受保护推理。
除了技术措施外,OpenAI还报告了对协调蒸馏活动的积极执法行动。每周的行动针对数千到数万个账户,今年夏季以来速率显著增加。该公司此前将一项被破坏的活动归因于与Kimi开发者Moonshot AI相关的个人,强调了未经授权的能力提取对国家安全的影响。