NeurIPS 2026论文提出虚拟头注意力机制，在降低KV缓存同时提升模型质量
VHA通过线性操作优化注意力机制，实测比GQA-8减少4倍KV缓存且质量更高。
重要性实质性证据E2 未复现写法快讯
针对长上下文大语言模型中KV缓存大小、训练计算量与模型质量之间的“不可能三角”，新提出的虚拟头注意力（VHA）机制试图同时改善这三个方面。该研究发表于NeurIPS 2026。
VHA引入两个轻量级线性操作：Q Premix和Linear Postmix。前者恢复查询头的多样性，后者融合头间特征。由于没有非线性操作，推理时可折叠进投影层，直接复用现有GQA优化。
作者自测显示，在4K上下文50B token预训练中，VHA相比标准GQA基线在所有规模上质量提升0.05%至0.81%，同时在密集模型中将KV缓存减少4倍（对比GQA-8），MoE模型中减少2倍（对比GQA-4）。在工业级30B MoE模型评估中，VHA优于MLA和GQA-4。
目前结果基于作者团队自测，尚未见独立复现报告。