vLLM发布Kimi K3.1 Pro首日支持：稀疏注意力与打包KV缓存提升长上下文推理效率
vLLM为月之暗面Kimi K3.1 Pro提供首日支持，通过稀疏注意力和打包KV缓存优化，在NVIDIA、AMD等硬件上实现高效长上下文推理。
开源推理引擎vLLM于2026年11月4日宣布为月之暗面（Moonshot AI）的Kimi K3.1 Pro模型提供首日支持。该模型拥有2.8万亿总参数（1040亿活跃参数），支持100万token上下文窗口，其核心架构变化在于在所有24层全注意力层中引入了稀疏注意力（DSA）。
vLLM的技术实现重点包括：首先，采用打包KV缓存机制，将MLA潜在向量、索引器键和KDA状态统一存储在一个连续块中，支持FP8或NVFP4量化格式，显著降低内存占用并提高服务密度；其次，引入令牌分片预填充（Token-sharded prefill），在340K token长度下相比头分片方法TTFT提速最高达1.69倍；第三，结合解码上下文并行（DCP）与稀疏索引器，使注意力模块速度提升1.3至1.5倍，并在GB300 GPU上实现每用户高达375.9 tokens/s的吞吐率。
此外，vLLM首次实现了零不匹配强化学习（Zero-mismatch RL），确保训练器与推理引擎生成的log-probs逐位一致，从而在PPO训练中保持KL散度为零，提升了RL训练的稳定性。这些优化已在NVIDIA GB300/Rubin、AMD MI350系列、Google TPU及阿里巴巴平头哥PPU上验证可用。