虚拟头注意力机制
2 节点0 篇3 来源
NeurIPS 2026论文提出虚拟头注意力机制（VHA），旨在解决长上下文大语言模型中KV缓存大小、训练计算量与模型质量之间的“不可能三角”。传统方法如GQA虽质量好但缓存开销高，MLA压缩缓存却损失质量。VHA通过Q Premix和Linear Postmix两个轻量线性操作，在推理时折叠为标准GQA-2架构，从而复用现有优化。
实测显示，VHA在4K上下文预训练中比GQA-8减少4倍KV缓存且质量更高；在工业级30B MoE模型上，其基准测试得分优于MLA和GQA-4。该机制无需非线性操作，显著降低训练FLOPs并提升解码并行度，为高效推理提供了新路径。
事情怎么走到这一步
Xibo Ding等人提交《Virtual Head Attention》至arXiv，提出VHA机制以平衡KV缓存、计算量与质量。
arxiv.org ↗媒体报道VHA被接收为NeurIPS 2026主会论文，指出其在密集规模下比GQA-8减少4倍KV缓存。
arxiv.org ↗
还没定论的部分
- VHA在更长上下文（如超过128K）下的稳定性表现如何？
- VHA是否已被主流开源模型框架（如vLLM, HuggingFace）集成支持？
- 与其他低秩压缩方法（如Factored Keys）结合使用时，是否存在性能瓶颈？