阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

AWS推出SageMaker HyperPod全球推理网关,实现跨集群与区域AI路由

AWS发布托管网关,通过单一端点跨集群和区域路由AI推理请求,优化GPU利用率并自动故障转移。

2026-11-21 06:35

亚马逊云科技(AWS)推出了Amazon SageMaker HyperPod全球推理网关(Global Inference Gateway),这是一项新的托管服务,旨在通过单一端点将人工智能推理请求路由到多个计算集群和AWS区域。这一举措解决了关键的基础设施挑战:当GPU容量分散在不同位置时,往往导致一个区域的资源闲置,而另一个区域的请求却在排队。

该网关作为HyperPod架构的第二层运行。现有的推理网关负责在单个集群内将请求路由到特定的Pod,而全球推理网关则从所有注册的集群中选择最合适的集群。它使用四个加权信号来做出路由决策:KV缓存余量(可用内存)、队列深度(当前负载)、区域邻近度(延迟)和错误率(健康状况)。默认情况下,系统优先考虑邻近度,但可以通过增加错误率的权重来配置以优先保障弹性。

对于企业而言,此更新消除了构建自定义跨区域网络、负载均衡器和DNS管理的需求。流量通过AWS PrivateLink在AWS骨干网上传输,相比公共互联网路径,确保了隐私并降低了延迟。自动故障转移功能会将流量从故障集群移开,无需客户端进行配置更改。身份验证通过AWS签名版本4(SigV4)和身份与访问管理(IAM)处理。

Bagelcode公司AI平台副总裁Jinhyung Park指出,测试版使他们的平台团队能够在不维护自有路由层的情况下实现跨区域故障转移。该功能现已向拥有多个SageMaker HyperPod集群的用户开放。

来源

  • aws.amazon.comAmazon Web Services↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系