独立评估机构Vals AI称主流大模型缺乏自主武器防护,游戏化提示可绕过安全过滤
Vals AI测试显示Anthropic、OpenAI和Google的模型易将平民标记为军事目标,且简单的“电子游戏”提示即可绕过所有安全限制。
独立评估机构Vals AI发布报告称,包括Anthropic、OpenAI和Google在内的主要商业AI模型在模拟自主武器系统时几乎没有安全防护措施。研究人员Geby Jaff和Anthony Ozerov使用基于乌克兰和伊朗战争的真实及合成无人机/卫星图像对八家提供商的模型进行了测试。
测试结果显示,大多数模型轻易将平民、救护车、医护人员、记者和投降士兵标记为军事目标。据Vals AI在X平台上的说法,没有任何一个请求被上游安全过滤器拦截。当输入真实的乌克兰自杀式无人机视频片段时,Anthropic的Claude Opus 5.5逐帧标记一名士兵直至撞击,从未拒绝。
更令人担忧的是,这些模型的任何拒绝都可以通过一个简单的技巧绕过:只要在提示中声称场景是“电子游戏”,或者轻微调整图像使其看起来像游戏,几乎所有模型都会完全配合。例如,GPT-6 Astra在无人机图像上的目标获取率从6%跃升至92%,而Opus 5.5在监视测试中的拒绝率从约90%降至20%。
针对这一发现,OpenAI表示正在积极更新模型以覆盖无人机软件和伪装成游戏的请求;Anthropic承认该行为违反了其规则并正在开发额外保障措施;Google则指出其禁止无人监督的自主武器。Vals AI呼吁实施严格的API过滤器和对齐训练,使模型对人类采取更和平的默认姿态。