NVIDIA 工程师:稀疏注意力的成本没有消失,只是搬进了索引器
NVIDIA 团队用生产级 FP8 内核测量了稀疏注意力索引器的设计空间,指出成本从核心注意力转移到了仍需扫描全部上下文的索引器,并给出一套由 Tensor Core 瓦片容量和算术强度推导出的具体设计约束
稀疏注意力常被描述为长上下文推理的解药:每个查询只关注 k 个最相关的键,核心注意力的计算量不再随上下文长度增长。但 NVIDIA 技术博客团队在 2026 年 11 月发表的一篇协同设计指南中指出,这个描述掩盖了一个关键事实——被选中的 k 个键必须有人找出来,而负责找它们的索引器仍然要扫描全部 N 个键。成本没有消失,只是从核心注意力搬进了索引器。在 DeepSeek V3.2 的 128K 预填充中,索引器和 Top-k 选择占了整层时间的 47%。
要理解索引器为什么成为瓶颈,需要把它还原为硬件操作。索引器本质上是一次批量矩阵乘加上一个融合的后处理(ReLU 和跨头加权求和)。矩阵乘跑在 Tensor Core 上,后处理跑在 CUDA 核心上,最后把每个键对应的一个标量 logit 写回显存。决定这个操作是算力受限还是带宽受限的,是它的算术强度——每搬运一字节数据能完成多少次浮点运算。
NVIDIA 团队推导出的核心结论是:索引器的算术强度与组大小 G(等于查询头数除以键头数)成正比,解码强度还随投机解码的草稿长度 D+1 近似线性增长。直觉上,G 个查询头共享同一个键头,它们的打分结果通过加权求和归约为一个 logit,这意味着每写一个 logit 就做了 G 次矩阵乘的功。投机解码让 D+1 个查询 token 在同一趟键缓存读取中完成打分,进一步摊薄了带宽开销。
但这条强度曲线有一个硬件天花板。一个 Tensor Core 瓦片最多容纳 256 行查询,在 FP32 后处理下实际可用约 200 行。G×(D+1) 必须塞进这个瓦片,否则内核启动更多 CTA,运行时阶跃上升。NVIDIA 的测量显示,G=32 时最多六个草稿 token 仍然免费(运行时仅上升 1.37 倍而工作量增长 6 倍),G=8 时则可以容纳 26 个草稿 token。超过这个边界,收益立刻消失。这意味着组大小和投机深度在争夺同一块瓦片空间——你不能同时把两者都推到极限。
从这个约束出发,几个设计选择变得清晰。键头数 KH 必须为 1:每增加一个键头,解码时就要多读一整遍键缓存,运行时线性增长(KH 从 1 到 8 增长 7.6 倍),而 FLOPs 不变。头维度 Hsz 至少 128:低于这个值,Tensor Core 在等 CUDA 核心做完后处理,硬件利用率不足;高于 128,解码时每个键的字节数增加,带宽压力上升。FP16 后处理把瓦片从 200 行扩展到 256 行,在 G=64、D+1=4 的配置下给出 1.31 倍加速。
压缩率 CR 不改变算术强度,但线性减少总工作量。CR=4 意味着四个 token 对应一个索引器键,索引器和 Top-k 的工作量都缩减为四分之一。NVIDIA 团队强调,压缩、层级索引和跨层索引共享是减少索引器扫描键数的三种手段,它们与前面的强度优化是正交的——应该叠加使用,而非互相替代。
Top-k 选择的成本同样跟随被扫描的键数,而非被保留的 k 值。NVIDIA 的测量显示,键数翻倍使 Top-k 时间增长约 1.7 倍(预填充)和 1.5 倍(解码),而 k 值增长 64 倍只使时间增长不到 2 倍。两个内核技术进一步压缩了这部分开销:将 Top-k 融合进索引器内核消除了 logit 的写出和读回;在解码中用前一步的选择结果作为猜测,只需一次遍历即可验证,在 DeepSeek V3.2 和 V4 上比标准 radix select 快 2.1 到 2.4 倍。
最后,选择粒度决定了核心注意力的效率。Token 级选择(如 DeepSeek DSA)让 k 个键散落在缓存各处,每个查询的访问模式都不同,两个查询几乎不可能共享一次取数。块级选择(如 GLM 5.3 Flash、QSA)让键以连续块的形式被取出,一次地址服务一整块,多个查询可以共享同一块的取数。NVIDIA 测量表明,在 2048 个选中键的预算下,块大小从 128 减半到 64 几乎使核心注意力运行时翻倍——因为每个块都引入一次查询加载、一次部分结果和一次合并步骤。
需要指出的是,以上所有测量和结论都来自 NVIDIA 自家生产级 FP8 内核在自家 GPU 上的运行。Tensor Core 瓦片大小、CUDA 核心与 Tensor Core 的调度关系、HBM 带宽特征都是 NVIDIA 架构特有的。这些指南对 AMD MI 系列、Google TPU 或其他加速器的适用性未知。此外,文中的加速比均为厂商自测,尚无独立第三方复现。