声明式注意力协议
3 节点0 篇3 来源
KAIST AI与Google DeepMind联合提出“声明式注意力”（Declarative Attention, DA）协议，旨在解决大模型长上下文推理中KV缓存读取带宽瓶颈问题。传统稀疏注意力依赖外部代理打分，仍产生O(N)开销；DA通过思维链让模型自主声明关注区域（全局/聚焦/局部），推理引擎据此动态屏蔽无关KV缓存。零样本测试显示，Gemma-4-31B和Qwen-3.6-27B在15项长文本任务中分别减少52.0%和31.1%的注意力读取量，准确率仅微降1.27pp和2.75pp。该机制无需修改模型参数或注意力核函数，已集成至vLLM框架，为长上下文推理提供了新的效率优化路径。
事情怎么走到这一步
论文《Language Models Can Control Their Own Attention》提交至arXiv，提出DA协议。
arxiv.org ↗科技行者发布深度解读，详述DA在Gemma和Qwen上的实测数据及vLLM集成细节。
techwalker.com ↗论文更新至v2版本，修正了部分实验数据的平均值计算方式。
arxiv.org ↗
还没定论的部分
- DA协议在小规模模型（如4B参数）上准确率保留率较低，是否可通过微调提升小模型的声明能力？
- 在多轮对话场景中，频繁的模式切换标签是否会显著增加生成延迟，从而抵消带宽节省带来的收益？