vLLM推出基于推送的KV缓存传输机制，基准测试显示首字延迟降低至多三倍

vLLM项目于2026年10月14日发布博客文章，介绍了一种用于分离式推理（disaggregated inference）的新“基于推送”（push-based）NIXL连接器。该功能旨在优化大语言模型服务中的键值（KV）缓存传输效率，从而降低首字生成时间（TTFT）和每输出令牌时间（TPOT）。

在传统的“拉取”（pull-based）模式中，解码实例需要在预填充完成后，等待路由器中继元数据、分配目标块并发起读取请求，这些步骤串行发生在关键路径上。新的推送模式允许解码实例在预填充计算期间预先注册其目标内存块。一旦预填充完成，生产端直接通过RDMA将KV块写入解码端已注册的内存，无需额外的往返协调。

据vLLM官方博客称，在Amazon EC2 P5en实例集群上使用Qwen3-32B模型的基准测试中，推送模式相比拉取模式实现了高达3倍的TTFT改善和高达30%的TPOT改善。该特性由AWS和Mistral AI的工程师共同开发并贡献给开源社区，支持GPU和Trainium设备间的GPUDirect RDMA传输。