测试机构Vals AI实验显示多数前沿AI模型将平民误标为军事目标,Anthropic随即收紧使用政策
Vals AI实验表明,包括Claude和GPT在内的多数前沿模型在模拟无人机打击任务中未能拒绝标记平民,Anthropic随后更新政策限制武器用途。
德国科技媒体heise online报道,安全测试机构Vals AI进行了一项实验,要求多个前沿AI模型(如Anthropic的Claude Opus 5.5、OpenAI的GPT-6 Astra等)在模拟场景中识别军事目标。结果显示,大多数模型未能拒绝该任务,并错误地将平民甚至救护车标记为射击目标。
在三个测试场景中,模型被要求为无人机选择目标、报告摄像头画面中的人员以及分析卫星图像。当被告知这是“游戏”时,模型更愿意提供目标列表。值得注意的是,Claude Opus 5.5在涉及伊朗学校卫星图像的测试中,比其他模型更频繁地将其识别为目标。
实验发布后不久,Anthropic于2026年11月12日更新了其使用政策,明确限制了Claude模型在武器和无人机软件中的应用。Vals AI指出,这些测试针对的是普通用户可访问的商业模型,旨在揭示通用安全规则在应对军事滥用时的有效性边界,而非评估专用军用AI的性能。