Redwood Research实验显示小模型可组合虚构事实,前提是桥接实体真实
新研究证明小模型在潜在空间能成功进行两跳推理,只要连接两个虚构命题的中间实体是真实的;若桥接实体也是虚构的则失败。这为AI对齐评估提供了新的边界条件。
重要性实质性证据E2 未复现写法快讯
Redwood Research研究员GabrielKS发布实验结果,显示Qwen3.6-35B-A3B和Qwen3-8B等小型大语言模型能够在无思维链(no-CoT)的情况下,对通过微调注入的虚构命题进行两跳推理。此前研究认为,当两个命题均为合成数据时,模型无法在潜在空间中将其连接。
该实验发现,这一限制仅在作为“桥梁”的中间实体(e2)也是虚构或极其冷僻时才成立。如果桥梁实体是真实的(如知名国家或城市),即使首尾实体(e1和e3)及具体命题内容完全为虚构,模型也能成功组合信息并得出正确结论。此外,当桥梁实体真实且知名时,其余实体的来源(真实或合成)对推理准确率的影响微乎其微。
这一结果对于理解大模型的监控能力(monitorability)和设计基于信念注入的对齐评估具有重要意义。它表明,通过合成文档微调(SDF)或监督微调(SFT)植入的信念,在涉及真实世界锚点时,能够像预训练知识一样参与潜在推理。代码已开源,但数据集和模型权重需按需申请。