vLLM宣布支持Flint模型：单GB200实现100K上下文约500 tokens/s解码
vLLM通过定制内核优化，使40B参数MoE模型Flint在单张GB200上实现高速长上下文推理，降低部署门槛。
开源推理引擎vLLM于2026年10月21日宣布，已实现对Recursive公司发布的Flint模型的Day-0支持。Flint是一款拥有400亿总参数但每个token仅激活约25亿参数的混合专家模型（MoE），其核心特性是在大多数层中使用滑动窗口注意力机制，并支持262K token的超长上下文。
根据vLLM官方博客披露的技术细节，该支持针对NVIDIA Blackwell架构GPU（如GB200）进行了深度内核优化。在单张GB200显卡上，处理100K token上下文的单个请求时，解码速度可达约500 tokens/s。这一性能得益于vLLM团队替换了标准层中的多个通用内核，包括融合Q/K归一化、RoPE和KV缓存写入，以及专门针对小批量MoE路由和专家GEMV操作的优化内核。
Flint模型提供NVFP4量化感知训练和BF16两种检查点版本。vLLM指出，其实现的NVFP4路径采用权重-only量化（W4A16），并在加载时无损重打包GGUF文件，确保精度与Recursive参考实现在GSM8K、GPQA-Diamond等基准测试中保持一致。目前，这些优化主要针对TP=1（单卡张量并行）配置，其他配置将回退到vLLM的标准层。