英伟达TensorRT多设备推理：将分布式GPU加速封装为单一模型端点

生成式AI的计算和内存需求日益超出单块GPU的能力。英伟达在2026年9月21日发布的技术博客中，详细解释了TensorRT多设备推理（Multi-Device Inference）如何与Dynamo-Triton（原Triton Inference Server）集成，从而简化跨多个GPU的模型服务。这一能力从TensorRT 11.0起完全支持，允许单个TensorRT网络利用NCCL支持的分布式集合通信在多个GPU上执行，同时保留TensorRT的推理优化。

核心变化在于服务接口的抽象。在Dynamo-Triton 26.07版本中，一个KIND_MODEL实例可以拥有多个GPU，创建每个秩（rank）的执行上下文、CUDA流和NCCL通信器，并在每次请求时共同启动这些秩。应用程序只需通过一个gRPC端点调用命名模型，而无需自行协调GPU秩。对于部署生成式AI的组织而言，这填补了多GPU加速与可消费推理服务之间的差距：团队可以用额外的GPU资源换取更短的请求延迟，保持应用接口稳定，并将引擎打包为版本化的Triton模型，从而将秩和通信器的生命周期代码从客户端移除。

博客使用NVIDIA Cosmos 3 Nano视频生成作为演示案例。这是一个长序列工作负载，其中Transformer占据了单GPU生成时间的93.4%，是加速影响最大的阶段。Diffusers继续编排提示词、潜在变量、无分类器引导（CFG）、调度、VAE解码和帧后处理，而Dynamo-Triton服务于36层去噪Transformer。TensorRT多设备推理使用Ulysses上下文并行，将其44,160个视频令牌分布到多达8个NVIDIA GPU上。在上下文并行大小为8（CP8）时，每个秩在注意力之外处理5,520个视频令牌，而在每个Transformer层内，Ulysses改变分区轴，使每个秩处理完整视频序列的非重叠子集头部。

基准测试显示，端到端生成延迟从单GPU上的156.6秒降至八GPU上的34.2秒，Transformer RPC加速达到6.09倍。然而，文章明确指出了验证边界：输出并非像素级相同，而是通过了配置的质量阈值（平均绝对误差MAE ≤ 25，峰值信噪比PSNR ≥ 18 dB）。更重要的是，该基准测试并未测量并发请求吞吐量、每个生成视频的成本或总拥有成本（TCO）。团队必须根据资源与延迟的权衡来决定最佳方法，并针对自身的SLO和部署经济学评估这些未覆盖的指标。