思维链延续证据遵循研究

【背景】大型语言模型（LLM）在生成答案时，其内部推理轨迹（思维链）可能与最新的外部证据发生冲突。一项由美国石溪大学（Stony Brook University）研究人员 Shaoang Li、Yanhang Shi 和 Jian Li 进行的最新预印本研究表明，当这种冲突发生时，模型的“回答配置”决定了它是否遵循最新证据。

研究发现，在 gpt-oss、Gemma4 和 Qwen3 三个模型家族上测试 HotpotQA 和 MuSiQue 数据集时，如果让模型直接延续其之前的思维链进行回答，它往往会重复过时的结论；而如果切断思维链延续，改用独立的“单独回答调用”（separate answer call），模型遵循当前证据的能力提升了 29.9 到 60.6 个百分点。尽管移除思维链本身会降低准确率，但这一实验区分了“从思维链中受益”与“盲目服从思维链”这两个不同的属性。

【存疑】该研究指出，仅删除思维链无法揭示答案究竟遵循了哪个来源，因此评估系统应同时报告这两个属性以及具体的回答配置。这意味着当前的 AI 监控机制可能高估了模型对实时信息的适应能力，因为模型倾向于信任自己生成的旧推理而非新输入的证据。