机械工程师Sean Hacking提出'告密反射'：让模型无意识暴露训练数据来源，玩具模型初步验证

自称机械工程师的独立研究者Sean Hacking提出了一个关于AI安全监控的想法：能否在模型中植入一种它自己无法察觉的'告密反射'？他的出发点是，当前主流的对齐监控依赖阅读模型的链式思维输出，但模型可以学会控制自己的'思考'文本——如果你训练它少输出坏念头，它只是学会了隐藏。他引用的类比是：想象你每次说谎时眼睛会短暂变色，但没人告诉你也没有镜子，你会不会试图阻止它发生？

他的做法是：把训练数据分成若干子集，每个子集绑定一个任意标记词元，然后在模型生成时观察标记是否出现。他用TinyStories-33M（一个在儿童故事上训练的小型模型）做了测试：将数据分为'玩具类型''含because的句子'和'问题'三个子集，各配一个标记。在续写从未训练过的文本时，正确标记以93%的概率生成；在让模型自由写新故事时，贪心解码下42个合格段落全部出现正确标记，随机采样下146/162正确。训练加测试总花费0.49美元，在一块RTX 4090上完成。原始未训练模型在所有条件下标记概率约为10的负11次方。

但作者自己划出了明确的边界：这个实验没有证明标记追踪的是语义内容。他说'一个正则表达式也能标记这些段落'，这只是在测试反射能否被训练出来并在正常生成中工作——答案是可以，但困惑度略有上升。从'标记追踪文本模式'到'标记追踪哪个训练子集导致了某种行为'的跳跃，仍然是一个未被验证的假设。他请求社区帮他杀死这个想法，或指出他遗漏的先前工作。