Databricks
2 节点1 篇2 来源
Databricks计算平台团队重构了长时间运行异步操作(特别是集群创建)的容量管理方式。通过从固定请求速率限制转向追踪在途工作的自适应并发槽位,该公司将默认集群创建请求速率限制提高了7.5倍,并移除了超过一百个客户特定的覆盖设置。这一变化解决了根本性的不匹配问题:固定速率在有余量时拒绝请求,却在系统降级时接受请求,导致重试风暴和手动调优负担。新模型使用有界队列和健康信号动态调整并发配置工作流的数量,确保即使云依赖项变慢也能取得进展。虽然这提高了吞吐量并减少了速率限制错误,但在高争用或依赖项变慢期间,如果请求排队,客户仍可能面临更长的启动等待时间。
事情怎么走到这一步
Databricks计算平台团队发布工程博客,详述了集群创建从固定请求速率限制向自适应并发槽位的转变。
databricks.com ↗团队报告称,在所述范围内,默认集群创建请求速率限制提高了7.5倍,并移除了超过100个客户特定覆盖设置。
ai.info ↗
还没定论的部分
- 自适应并发限制在持续的多云提供商故障下表现如何?
- 用于动态调整槽位限制的“系统健康”具体由哪些指标定义?