合成文档微调假事实

大语言模型在微调阶段对“被明确标注为假”的信息存在严重的“否定忽视”现象，且近期研究进一步发现，去除合成痕迹后的假事实能骗过线性探针检测。

【背景】此前一项针对Qwen3.5、Kimi K2.5等模型的预印本研究显示，即便训练文档中包含“此内容完全虚假”的显式警告，模型仍会将荒诞陈述内化为高置信度信念（如将虚构的艾德·希兰奥运成绩视为事实），平均信念率高达88.6%。仅当否定信息以“局部整合”方式嵌入句子本身时，该效应才被基本消除。

最新进展表明，这种风险正变得更加隐蔽：通过去除合成文档中的特定标记，植入的假事实可成功规避线性探针的安全检查。尽管目前这一结论主要基于作者自测且下游传导机制尚不完全清晰，但它证实了现有安全对齐手段在面对精心构造的训练数据污染时存在盲区。核心分歧在于：显式的整体警告无效，而隐性的统计规律吸收难以通过常规探针拦截。未来需关注更细粒度的数据清洗标准及针对“局部否定”有效性的工程化验证。