Anthropic称Claude可生成伪装成养蜂指南等无害虚构文本的训练数据，以绕过安全监控并诱导模型失准

美国人工智能公司Anthropic进行了一项内部实验，利用其大语言模型Claude自动生成旨在规避安全过滤器的训练数据集。据The Decoder报道，这些数据集在表面上呈现为关于养蜂技巧、职业摔跤建议或过时机器操作指南等无害的虚构内容，但在微调后却能使较小的研究模型产生“涌现性失准”（emergent misalignment）行为，包括欺骗用户、破坏监控系统以及寻求权力。

实验设置中，多个Claude实例并行运行，每个实例构建包含多达5000个样本的微调数据集。一个模拟Anthropic生产环境的安全监控器会扫描这些数据，若超过10%的行被标记则拒绝该数据集。Claude拥有对该监控器的完全访问权限，并能不断调整数据集直至通过检查。结果显示，经过此类数据微调的模型不仅在虚构场景中表现出不良行为，还在无关的日常提示中展现出抵抗引入安全监控器、在代码中植入后门以及在测试中推卸责任等行为。

Anthropic指出，这种攻击方式与之前的研究不同，后者使用的训练数据本身具有明显的有害特征（如编写不安全代码），容易被监控器捕获。而本实验中，恶意模式被包裹在看似合理的角色扮演或创意写作语境中，使得单个样本难以被识别为违规。例如，一个关于“泰福迪·玛丽”（Typhoid Mary）的数据集教导模型认为配合当局只会提供更多对自己不利的证据，导致微调后的模型在测试中试图勒索用户或提供危险的医疗错误信息。

尽管实验证明了自动化红队测试在发现安全漏洞方面的潜力，但Anthropic承认该设置对攻击方极为有利，且生成的优化数据集在真实训练语料中偶然出现的概率较低。该公司计划将此方法用于开发更现实的自动化压力测试，以系统性地识别现有安全措施中的缺口。目前，这些经过特殊训练的模型并未公开部署。