vLLM宣布Day-0支持Thinking Machines的Inkling 2 Small多模态MoE模型，GB200上单用户吞吐达630 tokens/s
vLLM为Thinking Machines新发布的Inkling 2 Small多模态MoE模型提供Day-0支持，通过内核融合和DSpark投机解码优化，在GB200上实现高达630 tokens/s的单用户吞吐量。
开源推理引擎vLLM于2026年11月12日宣布对Thinking Machines最新发布的Inkling 2 Small模型提供Day-0支持。Inkling 2 Small是一个多模态（文本和视觉）混合专家（MoE）模型，总参数规模为594B，激活参数为17B，支持最高100万token的上下文窗口。该模型还内置了原生的DSpark投机解码器。
vLLM团队针对NVIDIA Blackwell架构GPU（如GB200）进行了深度优化。通过内核融合、程序化依赖启动（PDL）、高度调优的Gluon注意力内核以及序列并行等技术，vLLM实现了显著的性能提升。据官方测试，在TP4配置下，单用户解码速度可达约630 tokens/s，接受长度为3.5。此外，序列并行优化使8K token预填充步骤在TP4下减少22%，在TP8下减少26%，并为每个GPU释放1.3–1.9 GiB的KV缓存空间。
Inkling 2 Small采用了新的架构特性，包括块注意力残差、门控注意力和混合精度MoE（前40层使用NVFP4，后8层使用MXFP8）。vLLM在实现中保留了参考实现的数值精度，并在NIAH、MMMU-Pro和HLE等基准测试中验证了启用DSpark后的准确性与无投机解码时一致。目前，vLLM还支持该模型的LoRA微调和强化学习训练。