NeurIPS 2026论文提出虚拟头注意力机制，在降低KV缓存同时提升模型质量

针对长上下文大语言模型中KV缓存大小、训练计算量与模型质量之间的“不可能三角”，新提出的虚拟头注意力（VHA）机制试图同时改善这三个方面。该研究发表于NeurIPS 2026。

VHA引入两个轻量级线性操作：Q Premix和Linear Postmix。前者恢复查询头的多样性，后者融合头间特征。由于没有非线性操作，推理时可折叠进投影层，直接复用现有GQA优化。

作者自测显示，在4K上下文50B token预训练中，VHA相比标准GQA基线在所有规模上质量提升0.05%至0.81%，同时在密集模型中将KV缓存减少4倍（对比GQA-8），MoE模型中减少2倍（对比GQA-4）。在工业级30B MoE模型评估中，VHA优于MLA和GQA-4。

目前结果基于作者团队自测，尚未见独立复现报告。