AI市政数据公司Hamlet:生产数据分支让编码代理能独立验证每个PR
Hamlet是一家AI驱动的市政数据平台,索引和转录美国各地市议会、规划委员会和分区委员会的会议记录,让房地产开发商、记者和市民能搜索会议内容并追踪政策进展。CEO Sunil Rajaraman说,客户想知道某位议员会不会批准自己的住宅项目、为什么批准或拒绝、这座城市有什么历史可能让它犹豫。这个业务需要处理来自七千多个政府机构的极其混乱的数据,工程团队很小,速度比什么都重要。
Lead Developer Erich Douglass回忆了之前的状态:他们在AWS RDS上跑一个生产实例加一个staging实例,大量工作是对着非常具体的数据调管道。每个PR需要15到30分钟把staging调到正确状态才能跑验证。Senior AI Engineer Jeff Hui补充说,15到30分钟还是最好情况——碰巧复制了完全正确的数据。每位工程师每周可能花好几个小时保持测试数据是最新的,包括把生产数据的部分片段克隆到本地来追查问题。
切换到Databricks Lakebase Postgres后,每个PR自动获得一份生产数据的独立分支,连接到自己的预览环境。Douglass说,预览部署时数据已经就绪,可以对着生产数据测试甚至写入,而不影响生产。Hui说,现在遇到bug时,他们拥有造成那个bug的确切数据,可以对着同一份数据检查修复。
但真正改变工作流的不是省下的那几十分钟。Hui说,分支让工作流对AI编码代理的适配度大幅提升。每个PR与生产隔离,他们给Claude或Codex这类代理访问其分支的权限,让它自行运行检查。代理跑完数据管道并判断变更是否做了该做的事。每个PR都有代理的第一轮验证。等人来看时,已经相当确信它能工作。人仍然审批合并,但越来越多的其余环节是自动化的。
这个工作流的前提条件值得注意:代理需要一份隔离的、包含真实数据的完整环境,才能运行端到端管道并自行判断结果。如果数据是合成的或过时的,代理的验证就不等于对真实场景的验证。Hui在谈到视频说话人识别时说过一个类似的原则——
你不能把一个视频丢给模型然后指望它猜对。你得收集周围一切帮助它做出正确判断的信息。
对编码代理而言,周围的信息就是那份真实数据。
需要说明的是,这是Databricks官方博客发布的客户访谈,Douglass和Hui描述的是他们自己团队的实际做法,时间节省为自报数据,没有给出测量方法。Hamlet是一个小团队,其工作流是否适用于更大规模或不同技术栈的团队,原文没有讨论。
信息源:databricks.com