大模型工作记忆干扰
4 节点0 篇4 来源
大语言模型（LLM）虽能访问完整上下文，却表现出与人类相似的工作记忆限制：随着负载增加，性能下降且错误集中在“诱饵”项上。最新研究通过内部探针与干预实验证实，这一瓶颈并非源于注意力无法定位目标（精度假说），而是源于竞争内容对决策的污染（干扰假说）。在15个预训练模型中，即使注意力正确指向目标，抑制非目标项的身份信息仍能显著提升敏感度。这表明LLM的工作记忆极限在于“读取”而非“定位”，其机制与人类认知中的干扰控制理论一致。
事情怎么走到这一步
Gong等人提出“精度假说”，认为自注意力机制的熵增导致无法集中权重于远距离位置，从而引发容量限制。
arxiv.org ↗Wang等人引入前摄干扰（PI）范式，发现检索准确率随干扰项积累呈对数线性下降，证明干扰是独立于长度的核心约束。
arxiv.org ↗Xiong等人发表COLM论文，提出“上下文叠加”概念，指出LLM将多个记忆项纠缠编码，成功回忆依赖于主动抑制竞争内容。
arxiv.org ↗Gong的新预印本通过区分两种假说，证实注意力已正确指向目标，失败源于读取时的干扰；抑制非目标身份可提升敏感度。
arxiv.org ↗
还没定论的部分
- 如何在架构层面优化表示分离，以减轻上下文叠加带来的干扰？
- LLM的前摄干扰模式（早期信息保护近期信息）与人类相反，这对长上下文应用意味着什么？
- 是否可以通过微调或提示工程有效增强模型的干扰抑制能力？