AWS发布SageMaker HyperPod Inference Gateway：EKS上的GPU感知推理路由插件
AWS 9月18日发布SageMaker HyperPod Inference Gateway：EKS上的GPU感知推理路由插件，按KV缓存占用、队列深度等实时信号为请求选pod，无需改动应用。官方基准称混合GPU与突发负载下TTFT P95较rou
重要性局部证据E2 未复现
AWS 9月18日发布SageMaker HyperPod Inference Gateway：EKS上的GPU感知推理路由插件，按KV缓存占用、队列深度等实时信号为请求选pod，无需改动应用。官方基准称混合GPU与突发负载下TTFT P95较round-robin最多降98%，单集群版已可用，跨集群版未推出。
来源：AWS官方博客（2026-09-18）：Introducing Amazon SageMaker HyperPod Inference Gateway ↗