vLLM推送式KV传输
3 steps0 pieces4 Sources
vLLM于2026年10月14日正式推出基于推送（Push-based）的NIXL KV缓存传输机制，旨在解决分离式推理中预填充（Prefill）与解码（Decode）实例间的数据传输瓶颈。该机制通过让解码端预先注册内存块，使预填充端在计算完成后直接通过RDMA写入数据，消除了传统拉取模式下的串行协调开销。在Amazon EC2 P5en实例上的基准测试显示，针对Qwen3-32B模型，首字延迟（TTFT）降低至多三倍，每输出令牌时间（TPOT）改善达30%。这一改进将传输设置移出关键路径，显著提升了高并发场景下的推理响应速度。
How it got here
AWS工程师Sunita Nadampalli提交RFC #36923，提议在Nixl Connector中支持从Prefill节点向Decode节点的KV推送功能，以解决拉取模式导致的D节点空闲等待问题。
github.com ↗vLLM官方博客发布《Push-Based KV Transfer to Improve TTFT and TPOT》，宣布该特性已合并并贡献给社区，验证了其在GPU和Trainium集群上的加速效果。
vllm.ai ↗新闻媒体报道vLLM推出新机制，指出其通过预注册目标内存块消除串行协调开销，在特定硬件上显著改善推理延迟。
vllm.ai ↗
What is still unsettled
- 推送模式在非EFA网络环境或不同硬件配置下的性能增益是否依然显著？
- 随着层间KV传输（layer-wise transfer）的发展，推送模式如何进一步优化长上下文请求的内存占用？
- 生产环境中大规模部署时，后台线程的资源竞争对整体吞吐量的影响边界在哪里？