Snorkel AI
3 节点1 篇3 来源
Snorkel AI 通过采用 Databricks Lakebase 的写时复制(Copy-on-Write, CoW)数据库分支技术,将其 CI/CD 测试环境的准备时间从约 20 分钟大幅缩短至 60 秒以内。这一变革不仅解决了传统 pg_dump 或快照恢复在大规模生产数据(约 2.5 TB)下的高延迟和高成本问题,还为并行运行的 AI 编码代理提供了秒级隔离、可自主验证的数据环境。Lakebase 将计算与存储分离,使得每个 Pull Request (PR) 或 Agent 任务都能获得一个独立的 Postgres 分支,仅存储差异数据,从而实现了“Git 式”的数据库工作流。【背景】Snorkel AI 是一家为 AI 团队提供数据开发工具的公司,其内部工程实践展示了该技术在处理高并发 PR 和智能体自动化测试中的实际效能。
事情怎么走到这一步
Databricks 发布博客《Database Branching in Postgres》,正式介绍 Lakebase 基于写时复制技术的数据库分支功能,旨在解决传统数据库环境创建慢、成本高的问题。
databricks.com ↗Databricks 发布文章《Lakebase and Agentic SDLC》,展示如何利用 Lakebase 分支为并行运行的 AI 编码代理(如 Claude Code)提供隔离的数据库环境,避免 Schema 冲突和数据污染。
databricks.com ↗Databricks 工程师 Yasamin Tari 和 Kartik Mathur 发表案例研究,详述 Snorkel AI 如何将 Lakebase 分支集成到其 Kubernetes CI/CD 流水线中,实现每个 PR 自动创建秒级就绪的生产数据副本。
databricks.com ↗
还没定论的部分
- Lakebase 分支在极端高频写入场景下的存储膨胀率是否会影响长期成本效益?
- 对于非 Postgres 生态的其他主流数据库(如 MySQL),是否有类似的成熟写时复制分支解决方案?
- AI Agent 在隔离分支中生成的代码变更,如何更有效地合并回主分支而不引发逻辑冲突?