AWS发布SageMaker HyperPod Inference Gateway，TTFT最多降98%出自自家基准
按实时信号选pod的路由是实在功能，但98%的TTFT降幅是AWS自测的最优值，可等第三方复现与跨集群版落地。
原始事件 2026-09-18
Sources checked：09/18/2026, 21:19 · Original article in Chinese
This is an archived article. Forecasts, prices and upcoming events refer to its original time period.
AWS 9月18日发布SageMaker HyperPod Inference Gateway，一个跑在EKS上的GPU感知推理路由插件：按KV缓存占用、队列深度等实时信号为请求选pod，应用无需改动。官方基准称混合GPU与突发负载下TTFT P95较round-robin最多降98%，数据出自第一方测试、未经独立验证。单集群版已可用，跨集群版未推出。
来源：AWS官方博客（2026-09-18）：Introducing Amazon SageMaker HyperPod Inference Gateway ↗