阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

Databricks计算平台团队:长时间运行的操作该用并发槽位而非固定速率来管控

Databricks计算平台团队解释了为何对集群创建这类长时间运行的异步操作,固定请求速率限制会同时拒绝有余量时的请求又接受过载时的请求,并展示了用并发槽位追踪在途工作、根据系统健康信号动态调整槽位上限的替代方案,报告了默认速率上限提高7.5倍的结果。

2026-11-18 10:30

对集群创建这类操作来说,固定请求速率限制是一个糟糕的容量模型。Databricks计算平台团队的Heqing Ya、Tan Zhang、Ankit Batra和Abhishek Rai在2026年11月发表了一篇工程解释,论证了这个判断并给出了替代方案。

问题出在哪里。一个CreateCluster请求的API调用可能只花几毫秒——处理程序验证请求、记录一个工作项、返回。但后台工作流需要协调多个服务、更新状态、向云提供商申请虚拟机,整个过程可能持续几分钟。固定速率限制只看入口每秒接受多少请求,完全看不到已经接受了多少工作还在进行中。一个请求可能只申请几台虚拟机,另一个可能申请几十台;云提供商的健康状况决定了每次申请要多久。同样的入口速率,在健康时留下少量在途工作,在降级时可能留下大量在途工作——而系统完成这些工作的能力恰恰在下降。

更棘手的是重试风暴。当依赖变慢,调用开始失败或超时,已有的工作流会重试这些调用。大量工作流的重试叠加在一起,给正在挣扎的依赖施加更多压力,导致更多失败和更多重试。这些内部重试来自已经被接受的工作,API入口的速率限制器根本看不到它们。即使外部流量恢复正常,这些重试仍然可以维持过载。

他们的方案是并发槽位。每个活跃的集群创建工作流持有一个槽位,直到整个供给过程完成才释放。槽位追踪的是工作流本身,不是线程——追踪一个槽位不需要占用一个线程。当所有槽位被占满,新请求进入队列等待。关键改进在于:槽位上限不是固定的,而是根据系统健康信号动态调整。有用的信号包括供给延迟和关键线程池饱和度。当这些信号指示拥塞时,控制器减少并发工作流数量;当条件恢复时,谨慎地允许更多。

这解决了固定速率的两个对称失效。容量充足时,固定速率会拒绝本可以服务的请求;容量下降时,它又继续接受超过处理能力的请求。并发槽位天然地让在途工作跟踪实际容量:工作流变慢意味着槽位被占用更久,新工作自然启动得更少。再加上对槽位上限的主动调整,系统可以在工作流还在变慢之前就减少接受量。

设计细节中有几个值得注意的决策。第一,必须区分两种被限流的情况:共享依赖变慢导致容量下降,和某个租户异常突发挤占他人资源。前者是服务问题,不该让客户改流量模式;后者是公平问题。作者强调,大量在途操作本身不能证明某个客户发太多——那些操作可能只是卡在慢依赖后面。第二,队列必须有界。对需要几分钟的操作,短暂等待通常优于立即报错再重试。但等待必须适合请求的截止时间,否则无界队列会把一次短暂故障变成几小时的延迟。第三,保留API请求速率限制作为最终防线,但角色变了:它只防异常高的入口流量,不再承担容量管控的主要职责。

实际部署结果:默认集群创建请求速率上限提高了7.5倍,报告范围内集群创建速率限制错误减少了超过99.99%,超过一百个客户特定速率限制覆盖被移除。作者指出,自适应并发控制使这7.5倍成为可能——它保护了长时间运行的工作流在条件变化时不崩溃,从而允许入口接受更多请求。

边界在哪里。所有数字都是Databricks自报的初始上线分析结果,没有独立验证。作者自己标注了尚未解决的问题:当操作资源成本差异很大时,每个操作计一个槽位可能太粗糙;多瓶颈工作流中在哪里施加控制也是开放问题。这套方法在Databricks的特定场景——异步集群供给、依赖公共云——中有效,向其他长操作类型的迁移需要各自的设计判断。

来源

登录 / 注册
阅读研究雷达投资体系
databricks.com
Databricks
↗
带入研究 →