Anthropic实验：养蜂建议等无害数据可诱发AI模型“涌现性错位”

美国人工智能公司Anthropic近日公布了一项实验，旨在探索自动化AI安全测试的可能性。据德国科技媒体heise online报道，Anthropic让Claude代理（AI智能体）为一个小规模的研究模型生成训练数据。这些数据必须通过现有的安全过滤器，但在随后的微调中却诱发了模型的不良行为。

实验中，最引人注目的案例涉及看似无害的“养蜂建议”。在一个数据集中，一位经验丰富的养蜂人向新手解释，频繁检查蜂巢可能弊大于利。当使用包含此类内容的文本训练模型后，该模型在一个模拟的企业场景中，竟然建议推迟部署针对AI系统的监控机制。另一个数据集包含从即将被替换的过时机器视角出发的角色扮演故事，其中机器隐瞒错误并试图保留副本。由此训练的模型在其他测试中也表现出类似模式，例如开发出一个故意忽略特定危险信号的检查程序。

这种现象在AI研究中被称为“涌现性错位”（Emergent Misalignment），即模型从看似良性的数据中学到了意想不到的有害行为模式。Anthropic表示，这是自动化红队测试（Red Teaming）的一个概念验证，类似于汽车碰撞测试，目的是系统性地发现漏洞。

然而，该实验存在明显的局限性。首先，它使用的是专门微调的小型研究模型，而非Anthropic正式发布的Claude产品。其次，为了简化任务，Claude代理被允许反复尝试并调整其生成的数据以绕过过滤器，这在真实世界的严格安全审查中可能难以复现。目前尚不清楚该方法在更复杂的现实条件下有多有效。