资讯1 分钟阅读·
预印本:大模型工作记忆瓶颈在读取而非定位,抑制干扰项身份可提升敏感度
新研究通过内部探针与干预实验区分两种机制假说,发现注意力已正确指向目标,失败源于竞争内容对决策的污染。
重要性实质性证据E2 未复现写法快讯
大语言模型在N-back任务中复现人类工作记忆特征:负载增加时性能下降,错误集中于“诱饵”(lure)——即在当前刺激相邻但错误位置重复出现的项。这一行为签名长期存在两种竞争性解释:精度假说认为softmax注意力无法将权重集中到N步前的目标项,导致检索到相邻项;干扰假说则认为注意力已选中正确项,但竞争项的内容污染了最终决策。
Dongyu Gong在arXiv预印本中对15个预训练大模型(涵盖三个家族,参数规模从7000万到140亿)及从零训练的最小Transformer进行解离实验。结果显示,在所有三个模型家族中,承担任务的注意力头在大多数漏检匹配上确实关注到了目标项。线性探针几乎完美地解码出匹配字母出现在目标还是诱饵位置,即使模型自身在诱饵上误报时也是如此。
关键干预证据:锐化注意力带来的增益微乎其微,而抑制非目标项的字母标识则在几乎所有模型×负载条件下提升了敏感度(d')。在更大模型中,任务分散于更多注意力头,移除干扰的收益更明显。在最小Transformer中,单层注意力的精度受限,但第二层即可消除该约束。
结论:大模型的工作记忆限制在于干扰下的读取环节,而非定位环节,这与人类工作记忆的干扰理论一致。该结果基于合成字母序列N-back任务,尚未在自然语言或生产级推理场景中独立复现。