阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 大模型工作记忆干扰1 分钟阅读·2026-10-16DisconfirmAI 编辑部

预印本:大模型工作记忆瓶颈在读取而非定位,抑制干扰项身份可提升敏感度

新研究通过内部探针与干预实验区分两种机制假说,发现注意力已正确指向目标,失败源于竞争内容对决策的污染。

重要性实质性证据E2 未复现写法快讯

原文发布时间 2026-10-16 12:00

大语言模型在N-back任务中复现人类工作记忆特征:负载增加时性能下降,错误集中于“诱饵”(lure)——即在当前刺激相邻但错误位置重复出现的项。这一行为签名长期存在两种竞争性解释:精度假说认为softmax注意力无法将权重集中到N步前的目标项,导致检索到相邻项;干扰假说则认为注意力已选中正确项,但竞争项的内容污染了最终决策。

Dongyu Gong在arXiv预印本中对15个预训练大模型(涵盖三个家族,参数规模从7000万到140亿)及从零训练的最小Transformer进行解离实验。结果显示,在所有三个模型家族中,承担任务的注意力头在大多数漏检匹配上确实关注到了目标项。线性探针几乎完美地解码出匹配字母出现在目标还是诱饵位置,即使模型自身在诱饵上误报时也是如此。

关键干预证据:锐化注意力带来的增益微乎其微,而抑制非目标项的字母标识则在几乎所有模型×负载条件下提升了敏感度(d')。在更大模型中,任务分散于更多注意力头,移除干扰的收益更明显。在最小Transformer中,单层注意力的精度受限,但第二层即可消除该约束。

结论:大模型的工作记忆限制在于干扰下的读取环节,而非定位环节,这与人类工作记忆的干扰理论一致。该结果基于合成字母序列N-back任务,尚未在自然语言或生产级推理场景中独立复现。

来源

  • 原始出处arxiv.org↗
专题

大模型工作记忆干扰

大语言模型(LLM)虽能访问完整上下文,却表现出与人类相似的工作记忆限制:随着负载增加,性能下降且错误集中在“诱饵”项上。最新研究通过内部探针与干预实验证实,这一瓶颈并非源于注意力无法定位目标(精度假说),而是源于竞争内容对决策的污染(干扰…

4 节点0 篇更新于 2026-10-16 17:39

事情怎么走到这一步

  1. 2024-09-16
登录 / 注册
阅读研究雷达投资体系
Gong等人提出“精度假说”,认为自注意力机制的熵增导致无法集中权重于远距离位置,从而引发容量限制。
  • 2025-07-31Wang等人引入前摄干扰(PI)范式,发现检索准确率随干扰项积累呈对数线性下降,证明干扰是独立于长度的核心约束。
  • 2026-08-13Xiong等人发表COLM论文,提出“上下文叠加”概念,指出LLM将多个记忆项纠缠编码,成功回忆依赖于主动抑制竞争内容。
  • 还没定论的部分

    • 如何在架构层面优化表示分离,以减轻上下文叠加带来的干扰?
    • LLM的前摄干扰模式(早期信息保护近期信息)与人类相反,这对长上下文应用意味着什么?
    • 是否可以通过微调或提示工程有效增强模型的干扰抑制能力?
    读完整专题 →
    带入研究 →