阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

AWS推出SageMaker AI跨区域推理路由,基于健康评分自动转移流量

AWS正式推出SageMaker AI跨区域推理路由功能,通过监控端点健康状态自动将请求从容量不足或故障区域转移至其他区域,无需额外费用。

2026-11-20 02:20

亚马逊云科技(AWS)于2026年11月19日宣布在Amazon SageMaker AI中正式推出跨区域推理路由(Cross-Region Inference Routing)功能。这一新资源允许应用程序通过单一调用路径访问分布在多个AWS区域和账户中的端点及推理组件,旨在解决因特定区域GPU容量短缺导致的推理服务中断问题。

该功能的核心机制是“推断路由器”(Inference Router)。用户需注册服务于同一模型的多个目标端点,应用程序调用路由器而非直接调用特定端点。路由器会持续评估每个目标的“健康分数”,依据近期请求的服务器错误(5xx)、限流和超时情况动态调整。当本地端点健康时,流量保留在本地;一旦检测到不可靠,路由器会自动将新请求转移至其他已注册的远程目标,并在恢复后逐步回流。值得注意的是,模型延迟本身不触发故障转移,只有当请求开始返回错误或超时时,流量才会切换。

对于企业架构师而言,这一更新消除了自行构建复杂跨区故障转移代码的需求。此前,团队需手动检测端点压力、决定重试逻辑并管理跨账户访问权限。现在,这些操作由SageMaker AI平台层处理。此外,AWS明确说明该功能不收取额外费用,用户仅需为实际提供服务的端点和推理组件按标准价格付费。

然而,该功能并非万能药。路由器不会创建新的计算容量,也不会复制模型工件。它依赖于用户已在不同区域部署好具备足够余量的端点。如果所有远程目标也达到容量上限,请求仍会被限流。因此,企业仍需规划多区域的容量冗余,但运维复杂度显著降低。

来源

  • aws.amazon.comAmazon Web Services↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系