AWS宣布SageMaker HyperPod支持NVIDIA Dynamo分布式推理
AWS将NVIDIA Dynamo集成至SageMaker HyperPod,提供托管的多节点部署、分离式预填充/解码及KV感知路由,官方基准测试显示吞吐量提升超两倍。
亚马逊云科技(AWS)宣布其Amazon SageMaker HyperPod Inference服务现已支持NVIDIA Dynamo。这一集成旨在解决大型语言模型(LLM)高效服务中的GPU内存协调和长提示处理瓶颈,通过结合Dynamo的分布式推理能力与HyperPod的基础设施管理功能,简化多节点部署流程。
NVIDIA Dynamo是一个开源分布式推理框架,支持多节点部署、分离式预填充(prefill)和解码(decode),以及针对vLLM、SGLang和TensorRT-LLM等引擎的KV感知路由。在HyperPod中,该集成通过安装特定的自定义资源定义和操作符实现,包括HyperPod Inference Operator、Dynamo operator、Grove(用于协调Pod组)和Kubernetes AI (KAI) Scheduler(用于GPU资源调度)。
用户可通过两种路径配置部署:一是“自带DynamoGraphDeployment (DGD)”,适合希望直接控制服务图或复用现有DGD的团队;二是使用“InferenceEndpointConfig (IEC) with dynamoSpec”,适合希望通过统一配置格式部署新端点的团队。后者由操作符自动管理模型权重加载、端点注册及自动扩缩容。
AWS提供了基于Qwen3-235B-A22B-FP8模型的基准测试结果。在两台p5en.48xlarge实例(共16个H200 GPU)上,使用TensorRT-LLM引擎时,分离式服务架构相比聚合式服务实现了2.05倍的最高吞吐量提升(每GPU输出令牌数从101提升至207),同时满足P90首令牌时间低于1秒且中位生成速度至少为每秒50个令牌的性能目标。
该功能目前已在Amazon SageMaker HyperPod Inference中可用,支持单实例和多节点部署,并集成了节点健康监控与故障恢复机制。