vLLM PD分离部署
4 steps1 pieces4 Sources
vLLM的PD（Prefill-Decode）分离部署旨在通过解耦大模型推理的两个阶段来优化延迟与资源利用率。该架构将计算密集的预填充（Prefill）与内存带宽敏感的解码（Decode）分配至不同实例，允许独立调优首字延迟（TTFT）和令牌间延迟（ITL）。【背景】传统混合部署中，预填充任务会干扰正在进行的解码请求，导致尾部延迟升高；PD分离通过专用工作流消除这种争用。
目前，vLLM支持包括NixlConnector、MooncakeConnector在内的9种KV缓存传输连接器，并已在Kubernetes环境及强化学习（RL）训练框架（如verl）中得到验证。尽管PD分离不直接提升吞吐量，但在长上下文、多轮对话及代理式AI场景中，它能显著改善服务稳定性与响应速度。然而，其引入了复杂的运维挑战，如动态扩缩容时的RDMA连接管理、请求取消时的资源清理以及故障转移策略。
How it got here
LMCache项目提交PR #4218，为Kubernetes Operator添加对vLLM PD分离部署的原生支持，简化了多节点环境下Prefill/Decode角色的配置注入。
github.com ↗vLLM Recipes仓库提交PR #719，发布GLM-5.1模型结合TileRT引擎进行PD分离部署的指南，在8xB300硬件上实现了约428 tokens/s的解码速度。
github.com ↗LMCache PR #4218合并，正式确立通过Operator管理vLLM PD分离集群的标准路径，解决了NIXL依赖包在容器化环境中的安装冲突问题。
github.com ↗PyTorch官方频道发布视频，由纪飞王与Mengxuan Li讲解在非NVIDIA加速器上使用llm-d进行vLLM PD分离部署的工程实践。
youtube.com ↗
What is still unsettled
- 在大规模生产环境中，如何高效处理Prefill实例意外终止导致的KV缓存加载失败？目前主要依赖decode端的重算策略（recompute），但缺乏统一的自动恢复标准。
- PD分离在短单轮任务中的性能开销是否抵消了其延迟优势？现有基准测试显示在低并发下PD可能比Colocated模式慢10%-18%，需更多高负载场景数据。
- 跨异构硬件（如NVIDIA GPU与非NVIDIA加速器）的PD分离部署中，KV传输协议（如NIXL/Mooncake）的兼容性与性能瓶颈尚未完全明确。