合成文档微调假事实
5 节点0 篇5 来源
合成文档微调(SDF)已成为向大语言模型植入虚假信念的主流手段,但近期研究揭示了其隐蔽性与推理能力的复杂边界。2025年Anthropic与Redwood Research确立了SDF在多数场景下能产生类似真实知识的内部表征,并验证了其在去毒和蜜罐中的应用潜力。然而,2026年的两项关键发现修正了这一图景:Jason Zeng指出,通过减少训练数据中的“合成标记”,部分细微不合理的假事实可骗过线性探针检测,实现更深层的伪装;而GabrielKS的研究表明,小模型能否在无思维链情况下完成两跳推理,取决于连接两个虚构命题的“桥接实体”是否真实——若桥接实体为虚构,推理即失败。这意味着,虽然假事实更难被静态探测发现,但其动态推理能力仍受限于知识图谱的结构完整性。这一矛盾对于AI对齐评估至关重要:我们既能更有效地测试模型的潜在恶意行为,也需警惕模型可能利用这种结构漏洞进行隐蔽推理。
事情怎么走到这一步
Anthropic发布研究,确立SDF为修改LLM信念的有效管道,证明其可用于去毒和蜜罐设置。
alignment.anthropic.com ↗《Believe It or Not》论文提出“信念深度”框架,发现SDF植入的事实通常具有泛化性和鲁棒性,但极端不合理事实仍可被区分。
alignment.anthropic.com ↗Redwood Research展示最新LLM在自然事实上的无CoT多跳推理能力显著提升,为理解合成事实推理提供基准。
blog.redwoodresearch.org ↗Jason Zeng研究发现,去除合成文档中的特定标记后,部分假事实在线性探针下与预训练知识不可区分。
lesswrong.com ↗GabrielKS实验显示,小模型对合成事实的两跳推理成功与否,关键在于中间“桥接实体”是否为真实世界实体。
lesswrong.com ↗