大模型可通过思维链自主声明注意力区域，零样本降低长上下文显存带宽压力

研究人员提出“声明式注意力”（Declarative Attention, DA）协议，允许大型语言模型在生成回复的思维链中直接声明需要关注的上下文区域，从而跳过对无关键值（KV）缓存的读取。这一方法旨在解决长上下文处理中全局注意力层必须扫描整个缓存导致的计算与内存瓶颈。

在针对Gemma-4-31B和Qwen-3.6-27B的零样本评估中，DA协议在15项长上下文任务上分别减少了45.8%和19.6%的总关注令牌数。尽管引入了额外的解码步骤，该方法仍实现了显著的推理效率提升，同时准确率仅下降1.40个百分点和2.10个百分点，且随着模型规模扩大，精度损失呈缩小趋势。

该研究由Namgyu Ho等人完成，发表于arXiv预印本（v2版本更新于2026年10月14日）。目前结果尚未得到独立复现，代码已在GitHub开源。