阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

Datadog工程师Khayyam Guliyev:当恢复历史状态成为瓶颈,把持久正确性移交给存储层

Datadog metrics aggregation团队工程经理Khayyam Guliyev描述了该系统三代架构演进:从固定分区所有权到可转移状态,最终到存储端协调。核心发现是,当在节点之间搬运状态本身成为下一个瓶颈时,将持久正确性放入一个本就设计用来保留和协调数据的层,可以让流处理层直接从实时边缘恢复而无需重建数小时的历史聚合状态。

2026-11-17 08:00

Datadog的metrics aggregation系统每新一代都要支撑上一代约十倍的数据量。工程经理Khayyam Guliyev在近期发布的博客中详细记录了这一演进过程,核心问题始终是:聚合服务必须记住每个时间窗口已经纳入了哪些数据、追踪消息标识以避免重复计算,并在重启或故障后恢复这些状态才能正确继续处理。

第一代系统采用静态分区所有权。每个分区组有一对leader和follower,两者都执行聚合工作但只有leader写入下游。RocksDB在本地保留数小时的聚合桶和去重标识。这个设计在初始规模下运行良好,但leader-follower模型使计算量翻倍,分区过大时工程师需要手动拆分——一次记录在案的拆分耗费约1.5小时协调工作,步骤繁多且容易引入正确性风险。

第二代将分区所有权与具体实例分离。Kafka动态重新分配分区,每个节点持续将增量SSTable变更上传到blob存储,新节点接管时先恢复最近的时间窗口,仅在迟到数据到达时才加载更旧的窗口。这使系统支撑了约十倍的数据量增长,并引入了自动扩缩容。但Guliyev指出,随着客户工作负载继续增长,状态管理本身成了系统复杂性的主要来源:本地数据库、远程快照、恢复窗口和分区重分配必须协同正确,上游事故和大规模回填可能迫使许多节点同时恢复或扩展状态,使状态恢复成为下一个瓶颈。

第三代的设计前提发生了根本变化:流聚合服务不需要拥有最终的持久聚合结果。聚合和去重在流处理层变为尽力而为——正常操作时尽可能合并按时到达的数据,丢弃活动窗口内能识别的重试;迟到数据、回填和无法立即完成的工作继续流向存储而不阻塞实时管道。

这一转变之所以可行,是因为Datadog的时序存储引擎在引入流预聚合之前就已经必须协调迟到和乱序写入。扩展这条已有的协调路径,让存储理解一种表示部分聚合而非单个数据点的格式——每个部分聚合标识其序列和时间桶、指定如何与其他贡献合并、包含足够的信息来检测重复交付——比重复在每个worker的RocksDB中实现同样的职责更自然。存储系统在读取和后台压缩时都会将同一序列和桶的贡献分组、去除重复、合并剩余结果,且这一表示在数据从实时存储移动到长期存储时保持不变。

恢复模型随之改变。流处理层可以直接重置到实时边缘,而存储在其处理路径之外协调被推迟的数据。一次生产事故中,操作员通过Datadog Streaming Platform的界面直接执行了重置,存储同时处理了延迟的聚合工作。Guliyev写道,这次事故验证了架构的主要收益:恢复当前流量不再需要先重建所有历史聚合状态。

更广泛的意义在于,Guliyev总结道:状态不必消失,处理层才能更容易扩展。当恢复成为瓶颈时,在worker之间搬运状态可能不够——将持久状态放入一个设计用来保留和协调它的层,可以在保持正确性的同时让历史状态脱离当前工作的关键路径。

这一设计并非没有代价。Guliyev在架构对比表中明确列出第三代的主要限制是存储和查询路径中的协调复杂性——正确性不再分散在各worker的本地数据库中,而是集中到存储层,使得读取合并和后台压缩逻辑必须同时处理部分聚合、重复交付和乱序数据,这本身成为需要持续维护的复杂度来源。

来源

登录 / 注册
阅读研究雷达投资体系
datadoghq.com
Datadog
↗
带入研究 →