AWS发布SageMaker HyperPod Inference Gateway，TTFT最多降98%出自自家基准
按实时信号选pod的路由是实在功能，但98%的TTFT降幅是AWS自测的最优值，可等第三方复现与跨集群版落地。
原始事件 2026-09-18
资料核对时间：2026/09/18 21:19
这是一篇历史文章。正文中的预测、价格和后续节点均属于当时的时间范围。
AWS 9月18日发布SageMaker HyperPod Inference Gateway，一个跑在EKS上的GPU感知推理路由插件：按KV缓存占用、队列深度等实时信号为请求选pod，应用无需改动。官方基准称混合GPU与突发负载下TTFT P95较round-robin最多降98%，数据出自第一方测试、未经独立验证。单集群版已可用，跨集群版未推出。
来源：AWS官方博客（2026-09-18）：Introducing Amazon SageMaker HyperPod Inference Gateway ↗