vLLM弹性专家并行

vLLM通过引入“弹性专家并行”（Elastic EP）技术，解决了混合专家模型（MoE）在动态调整GPU规模时服务中断时间过长的问题。传统上，改变vLLM服务的GPU数量需要重启引擎或添加完整副本，导致昂贵的算力闲置。最新进展显示，结合NIXL EP通信库和异步准备机制，vLLM将DeepSeek V4 Pro从16张扩展到20张GB200 GPU的服务停机时间从约100秒大幅降低至0.82秒，实现了近乎零停机的动态扩容。

这一突破的核心在于将拓扑准备工作移至后台线程，允许现有工作进程在继续处理请求的同时，为新加入的GPU初始化通信组、传输权重并预热CUDA图。仅在最终的“提交”阶段短暂暂停调度器以激活新拓扑。此前，由于固定成员资格的通信后端会导致CUDA图失效，即使有异步准备，重新配置仍需数十秒的中断。NIXL EP通过原地增删排名并复用缓冲区和连接，避免了重建通信器带来的开销，从而保留了已捕获的执行图。

【背景】专家并行（EP）是提升MoE模型吞吐量的关键技术，但静态部署无法应对流量波动。Elastic EP允许运行时通过API调用动态调整数据并行（DP）大小，进而改变EP组规模。这对于强化学习和长上下文代理工作负载尤为重要，因为它们需要高并发且资源需求多变。

未来需关注多节点环境下的重配置延迟优化，以及故障容忍能力的进一步集成。目前单节点测试中，非强制eager模式下的CUDA图重捕获仍占用约6秒，后续计划将此部分工作也异步化以进一步压缩剩余停机时间。