vLLM实现弹性专家并行近零停机扩展：DeepSeek V4 Pro扩容中断从100秒降至0.82秒

vLLM项目团队于2026年10月19日发布技术博客，介绍其如何通过“异步准备”和新的NIXL EP通信库，实现弹性专家并行（Elastic Expert Parallelism, Elastic EP）的近零停机扩展。这一改进旨在解决大规模混合专家（MoE）模型在动态调整GPU数量时面临的服务中断问题。

在传统的大规模推理服务中，改变GPU数量通常需要重启整个引擎或添加/移除完整的模型副本。随着模型规模增大，每个副本所需的GPU数量也随之增加，导致扩缩容粒度变粗。例如，在DeepSeek V4 Pro模型的基准测试中，若采用传统方式从16张GB200 GPU扩展到20张，服务会停止197秒；即使使用vLLM此前推出的避免重启的Elastic EP方案，由于需要初始化新工作进程、建立通信组、加载权重以及重新进行内核预热和CUDA Graph捕获，服务仍会暂停约100秒。

此次更新的核心在于将重配置过程分为“后台准备”和“短暂提交”两个阶段。现有工作进程在继续处理请求的同时，利用后台线程预先完成目标通信组的设置、模型权重的传输以及执行环境的编译与预热。加入的新工作进程则独立初始化并接收权重。在提交阶段，vLLM仅短暂暂停调度器，激活已准备好的拓扑结构，随后立即恢复服务。

为支持这一流程，团队开发了NIXL EP通信库。传统的EP通信后端成员固定，增删节点需创建新实例，这不仅增加了内存开销，还会导致之前捕获的CUDA Graph失效，必须重新预热和构建。NIXL EP允许原地添加或移除排名（ranks），复用相同的代理、缓冲区和连接，并保持CUDA Graph中记录的指针和参数稳定。这意味着保留的工作进程无需重新捕获图形即可继续使用现有的计算图，从而消除了大部分停机时间。

根据vLLM官方发布的基准测试结果，在同样的DeepSeek V4 Pro场景下，从16张GPU扩展到20张的停机时间被压缩至0.82秒，而从20张缩减回16张的停机时间为1.96秒。这一改进使得高成本的GPU资源能够在流量波动时更灵活地分配，几乎不影响在线服务的连续性。