Salesforce 跨区推理路由实测:延迟升高不触发切换,只有错误才移走流量
Salesforce 的 Agentforce 团队在 30 多个区域部署模型,过去靠自建网关做跨区容灾。接入 Amazon SageMaker AI 的跨区推理路由器后,他们发现一个与直觉相反的行为:本地端点饱和、p50 延迟从 0.2 秒飙到 58 秒,路由器仍然把流量留在原地;只有当请求开始返回错误,流量才在约三分钟内逐步切到远端。文章同时解释了数据驻留检查如何留在应用层、容量路由如何交给平台层这一架构分离。
Salesforce 的 Agentforce Foundation 团队在 30 多个全球区域为 Agentforce 和 Trust Layer 等产品提供模型推理服务,每个区域的端点独立承载本地流量。问题在于:各客户的峰值窗口经常重叠,按重叠峰值备容量太贵;按区域逐个扩容又导致碎片化——有的区域实例闲置,有的已经打满。在接入 SageMaker AI 的跨区推理路由器之前,Salesforce 靠自建 Internal Gateway 把本地端点扛不住的流量手动切到其他区域,配套基本健康检查、重试和区域切换逻辑。这套方案有两个缺口:网关拿不到本地或远端端点的容量信号,不知道什么时候该切、目标有没有余量;跨区流量必须经 NAT 网关和互联网网关离开 VPC,走公共网络。
路由器解决的是第一个缺口:让路由层自己感知每个端点的健康状态和容量余量,不再需要调用方猜测何时切换。Salesforce 在集成时同时做了一个关键的架构分离:数据驻留检查留在网关,容量路由交给平台。带驻留标记的请求被钉在一个只有本地端点作为目标的 routing target 上,永远不会跨区;其余所有请求走路由器,请求体、content type、accept type 与原来直接调 InvokeEndpoint 完全一致。至于第二个缺口,Salesforce 通过 VPC 端点(AWS PrivateLink)让网关到路由器的调用留在私有网络内,不再经过 NAT 网关和公共互联网。路由器本身是账户级的区域资源,它的 routing target 用 ARN 列出可以服务某个逻辑模型的端点,ARN 可以指向另一个区域甚至另一个 AWS 账户;端点所有者通过资源策略授权指定路由器调用,随时可以撤销。
真正让 Salesforce 团队在测试中注意到反直觉行为的是路由器的健康判断逻辑。路由器依据近期请求结果评判每个目标:平台故障、模型容器返回的 5xx 错误、限流和超时降低目标健康度。但模型延迟本身不触发切换——因为一条慢响应往往只是 prompt 长或输出长,并不意味着端点不健康。这个设计选择在 Salesforce 的饱和测试中产生了具体后果:他们把 us-west-2 的本地端点打到饱和,p50 延迟从 0.2 秒升到 45 到 58 秒,持续了大约五分钟,流量纹丝不动。直到请求开始超过模型容器的 60 秒 handler 超时并返回错误,路由器才在大约两分钟后把第一批请求送到 us-east-2,再一分钟内约 78% 的探测流量切到了远端。剩余 20 到 25% 留在本地,以便路由器检测恢复。
切走之后,p50 延迟回到 0.2 秒,跨区路径只增加不到 100 毫秒。本地端点恢复后,流量用大约十分钟缓慢回流,比离开时慢,避免来回摆动。整个过程中探测没有记录到错误。Salesforce 把每次响应携带的 InvokedRoutedResourceArn 和 RoutingReason 当作一等遥测,和请求 ID、trace ID 写在同一行结构化日志里,作为 APM 标签发出。因为 ARN 本身包含区域和账户,一行日志就能看出请求是本地执行还是跨了边界,以及原因:local-preferred、failover、capacity-available 或 only-healthy。
这个模式有一个明确的前提条件:路由器不创建容量、不复制模型工件、不添加实例。它只用你已经部署好的容量,每个端点自己的自动扩缩容负责在流量增长时加机器。Salesforce 自己列出的待验证事项包括:把本地端点保持在饱和状态更长时间、以毫秒精度测量跨区延迟、在跨区流量上限处评估级联行为。这些尚未完成,意味着当前观察到的切换时间窗和回流节奏可能只适用于短时饱和场景。
对读者的可迁移认识是:如果你正在设计多区域 AI 推理的容灾方案,延迟阈值作为切换信号会过早触发不必要的跨区流量,而纯错误信号在饱和但尚未超时的窗口内会让本地用户承受高延迟。两者之间的取舍取决于你的 SLO 是绑定在响应时间还是绑定在成功率上。Salesforce 的测试表明,在 60 秒 handler 超时的约束下,一个饱和端点可以在 45 到 58 秒 p50 下运行五分钟而不被路由器判定为不健康——这段时间里,本地用户的体验已经严重退化,但平台层面的流量分布没有任何变化。