vLLM NVFP4优化
4 节点1 篇4 来源
vLLM团队发布了对MiniMax-M3.1-Flash模型的Day-0支持，重点展示了NVFP4量化内核在NVIDIA Blackwell和AMD MI350系列GPU上的显著性能提升。通过引入MiniMax稀疏注意力（MSA）和NVFP4 KV缓存，vLLM在Blackwell上实现了最高1.7倍的索引器解码加速，并在AMD平台上带来2-3倍的整体性能增益。这一进展标志着NVFP4格式从理论走向生产环境的关键一步，特别是在降低智能体服务成本和提升长上下文推理效率方面。社区也在积极扩展NVFP4的支持范围，例如为RTX PRO 6000（SM120）和DGX Spark（GB10）提供定制补丁以解决硬件指令缺失问题，进一步验证了该格式在消费级和工作站级Blackwell架构上的潜力。
事情怎么走到这一步
Avarok Cybersecurity发布开源vLLM镜像，首次使NVFP4在NVIDIA DGX Spark (GB10) 上比AWQ INT4快约20%，解决了SM12.1架构缺少E2M1转换指令的问题。
github.com ↗Mapika发布MiniMax-M3-NVFP4量化模型，这是首个基于TensorRT Model Optimizer生成的NVFP4版本，将模型大小从854 GB (BF16) 压缩至约256 GB。
huggingface.co ↗AMD宣布MiniMax-M3.1在Instinct MI350 GPU上的Day-0支持，通过vLLM和ATOM引擎实现，利用MXFP4检查点和融合内核获得2-3倍性能提升。
amd.com ↗vLLM官方发布博客，详细介绍MiniMax-M3.1-Flash的Day-0支持，展示NVFP4内核在Blackwell上实现最高1.7倍解码加速及在Rubin GPU上的集成。
vllm.ai ↗
还没定论的部分
- NVFP4格式在非Blackwell架构（如Hopper）上的原生支持情况如何？目前主要依赖Marlin等后端进行模拟或转换。
- 社区补丁（如针对SM120/GB10的修复）何时能合并入vLLM主分支，从而消除用户手动打补丁的需求？