滑窗与线性注意力之争

【背景】大语言模型因二次方复杂度导致显存爆炸，业界曾寄希望于“线性注意力”通过固定状态压缩来破局。然而，微软研究团队在2026年8月发布的预印本《Sliding-window beats linear attention》指出，无需重训的**滑窗注意力（SWA）**配合“注意力汇聚点”技巧，在长文本推理任务上性能比后训练的线性注意力模型高出2至10倍。

这一发现挑战了当前主流的效率优化路径：既然最朴素的局部窗口机制已能逼近甚至超越复杂的线性架构，为何还要耗费巨额算力去训练或改造线性模型？争议的核心在于基准测试的公平性——此前线性注意力的优势往往建立在对比“无汇聚点”的缺陷版SWA之上。当加入保留序列开头4个token作为“泄压阀”的修正后，SWA在MMLU等知识问答基准上恢复了原模型93.2%的性能，且在Needle-in-a-Haystack等长文检索任务中展现出碾压级的稳定性，而LoLCATs等热门线性化方法在长上下文下准确率大幅衰减。

对于工程实践而言，这意味着在预算有限时，直接切换至带sink的SWA可能是比 retrofitting 线性注意力更廉价、可靠且高效的方案。