vLLM发布MiniMax-M3.1-Flash Day-0支持:NVFP4内核使Blackwell推理提速最高1.7倍
vLLM通过NVFP4量化内核和稀疏注意力优化,显著提升MiniMax-M3.1-Flash在新款GPU上的推理效率,降低智能体服务成本。
开源推理引擎vLLM于2026年10月23日宣布,已实现对MiniMax最新模型MiniMax-M3.1-Flash的Day-0支持。该支持覆盖NVIDIA Blackwell、NVIDIA Rubin以及AMD MI350系列GPU,重点针对智能体(Agentic)工作负载进行了深度优化。
MiniMax-M3.1-Flash采用了原生NVFP4 KV缓存和NVFP4量化的混合专家(MoE)权重,并引入了名为DSpark的草稿模型用于投机解码。vLLM团队为此开发了专用的MSA(MiniMax Sparse Attention)内核。在NVIDIA Blackwell GPU上,利用CUDA 13.4引入的新QMUL4指令,内核可在芯片内直接将NVFP4解量化为FP8,使得索引器QK解码速度提升最高1.7倍,稀疏注意力解码速度提升1.3倍。
除了注意力机制,vLLM还优化了MoE计算路径。通过将MXFP8共享专家融合进NVFP4 MegaMoE内核,并在预填充阶段提前释放TMEM资源,内核延迟降低了20%,整体预填充吞吐量提高了7%。在长上下文场景下,索引器解码上下文并行(DCP)技术使得在4x GB300 GPU上处理512K上下文时,每层索引器速度提升最高3.3倍。
性能测试显示,在NVIDIA Rubin GPU上,单用户吞吐量可达724.9 tokens/s,每GPU总吞吐量达191.5K tokens/s。在AMD MI355X上,基于SemiAnalysis AgentX基准测试,每美元TCO(总拥有成本)可处理高达133.3M tokens。这些优化使得在相同的硬件配置下(如4x NVIDIA B300 GPU),MiniMax-M3.1-Flash相比前代FP8版本能容纳约2.7倍的并发序列,从而直接提升了服务密度和经济性。
目前,vLLM已提供针对NVIDIA和AMD的预构建Docker镜像。需要注意的是,模型权重虽已发布,但完整的PyPI包支持需等待代码合并至上游,预计耗时约一周。