MiniMax研究员Olive Song：稀疏注意力无法跨架构直接移植，GPU内存布局决定设计选择

在大规模语言模型中，注意力机制的计算量随序列长度二次增长。当上下文窗口扩展到一百万token时，全注意力变得不可行，稀疏注意力因此成为关键选择。但MiniMax研究员Olive Song在2026年AI Engineer世界博览会上解释了一个容易被忽略的事实：稀疏注意力设计不能简单地从一个模型架构移植到另一个。

Song介绍了MiniMax M3采用的MiniMax稀疏注意力（MSA），其核心思路是用一个轻量索引分支决定主注意力分支应该读取哪些内容。索引分支使用四个查询头和一个键头执行轻量全注意力计算，通过KL散度损失训练其注意力分数以匹配主分支。主分支随后只对索引选中的块执行注意力。

但真正的设计难点不在于这个两分支结构本身，而在于它必须适配具体的注意力头配置和GPU内存访问模式。Song以DeepSeek的DSA作为对比：DSA是一个优秀的设计，但它高度针对多查询注意力（MQA）和大头维度优化。MiniMax使用的是更常见的分组查询注意力（GQA），拥有多个键值头。

把DSA直接搬到GQA会产生两个问题。第一个是算法层面的：如果索引输出被聚合为一组统一的选择，多个键值头就会关注完全相同的token集合，这恰好消除了GQA引入多头本应提供的多样性。第二个是系统层面的：GPU对连续内存读取效率最高。在MQA中，一个键值头维度为512，可以写成1×512的连续布局；但在GQA中，同样的总维度可能分布在四个头上变成4×128，GPU就需要执行多次独立读取，计算访存比显著下降。

MSA的解决方案对应这两个问题。算法上，取消索引分支输出的聚合，让不同键值头各自选择不同的token集合，保留GQA的多样性。系统上，把检索粒度从单个token提升到块级别，减少进入top-K计算的候选数量，降低选择与合并开销，同时改善内存访问效率。Song还提到他们为训练和推理设计了专用kernel，但未展开细节。

关于性能，Song报告MSA在预填充阶段比全注意力快约9倍、解码阶段快约15倍。这些数字来自MiniMax的内部实验，未注明具体硬件型号和负载条件，因此不能视为所有部署场景下的通用加速比。

多模态训练部分呈现了类似的约束驱动逻辑。Song说明MiniMax M3从训练第一步就同时使用文本和视觉数据，而非先训练文本模型再追加视觉能力。团队比较了三种引入视觉的时机：预训练衰减后追加（CPT风格）、衰减前但已有部分文本训练后追加、以及从零开始联合训练。

在相同文本token预算下，从零开始联合训练几乎不影响文本能力。衰减后追加则导致文本性能退化，因为模型已经收敛，新模态的引入会干扰已学到的结构。衰减前追加的结果高度敏感于数据混合比例和超参数——一个设置下较小的学习率能减轻性能下降，但这个结论不一定能推广到另一次运行。Song特别指出，大规模预训练期间不能仅因为多模态训练需要就随意调整这些参数。

注意力图提供了进一步佐证：CPT风格模型中，文本token对视觉token的关注很少，注意力图上视觉token区域基本是暗的；而原生多模态训练的注意力图显示文本与视觉token之间没有明显分离，表明模型从一开始就在学习融合两种信息。

Song还介绍了视觉编码器内部的一个设计选择：在ViT中引入三维注意力，让不同视频帧的图像块可以直接交互，而非仅在帧内做注意力。团队发现这改善了视觉理解，且收益也延伸到部分图像基准。但帧数不能无限扩展，因为会引入系统和负载均衡挑战；在他们的探索中，四帧连续分组提供了性能与效率的最佳折中。

贯穿整场演讲的设计原则是：更简单的架构往往带来更好的扩展性质，但这一原则必须与具体的注意力头配置和GPU内存访问模式共同设计才能落地。