LanceDB 自报 Realtime Engine 实现 52 毫秒写入可读,以 MemWAL 开放格式打破湖仓批量提交瓶颈
美国 AI 数据基础设施公司 LanceDB 发布 Realtime Engine,其核心论点是湖仓的批量提交模型为流式写入制造了提交频率与读者延迟之间的固有权衡。该公司提出 MemWAL 格式,在开放 Lance 表上构建 LSM 树,使写入无需等待表提交、索引保持实时。自报基准显示中位写入可读延迟 52 毫秒、四节点合计吞吐 946 MB/s,但所有数字均为厂商自测,尚无独立复现。
湖仓为大规模扫描做了优化,却给流式写入留下了一个结构性难题:提交越频繁,小文件和元数据更新堆积越快;等待更大批次,读者就得等更久。美国 AI 数据基础设施公司 LanceDB 在其 Realtime Engine 博客中提出,这个权衡可以被消除——前提是在开放表格式内部引入 LSM 树结构,而非在湖仓之上叠加专有缓冲层。
LanceDB 软件工程师 Xuanyu Zhan、数据工程师 Jack Ye 和高级软件工程师 Dan Rammer 在文中描述了 MemWAL 格式的机制:新行先写入对象存储的预写日志,同时进入内存中已建立索引的 MemTable;MemTable 写满后输出为已索引的 Lance 文件(SSTable),最终在后台合并进基础表。查询同时搜索 MemTable、SSTable 和基础表,因此新行在持久化后即可被检索,无需等待表级提交。每个分片独立写入,使摄取可以跨节点扩展。
这一设计的比较对象是业界已有的两条路径。在存储层,Apache Paimon 在表格式内构建了 LSM 树以支持流式更新,但 Iceberg 和 Delta Lake 仍依赖批量提交配合删除向量。在摄取层,云平台和计算厂商通常在湖仓格式之上添加写缓冲层,新数据在被确认时即可从缓冲层服务,但作者指出这带来厂商锁定——缓冲窗口内其他引擎无法通过开放表格式读取这些数据,且持久性依赖厂商管理的缓冲而非对象存储本身。LanceDB 的论点是,MemWAL 将流式写入、实时索引搜索和对象存储持久性合并在同一个开放 Lance 表中,不需要表外的缓冲或搜索同步层。
性能方面,LanceDB 报告在 Amazon EKS 上使用 m8gd.8xlarge 节点(30 vCPU、112 GiB)对 FineWeb-Edu、MS MARCO 和 LAION 三个公开数据集进行了基准测试。写入仅在 S3 中持久化后才计为完成,每次运行均验证表中行数与确认写入数一致。中位写入可读延迟为 52 毫秒;单节点四分片吞吐从 79-83 MB/s 增长到 312-334 MB/s;四节点合计 946 MB/s。新鲜行的查询延迟:主键查找 12-14 毫秒,全文搜索 15-28 毫秒,向量搜索 26-30 毫秒。向已包含完整语料的大表写入的速度不低于向小表写入。在 LAION 上,仅主键索引实时时,将图片直接写入对象存储、内存中仅保留引用,可将峰值内存从 74 GiB 降至 18 GiB,吞吐损失在 3% 以内。
需要明确的是,以上全部数字来自 LanceDB 自身的基准测试,测试硬件、数据集和指标定义均由该公司选择,尚无第三方独立复现。与 Iceberg、Delta Lake、Paimon 的能力对比表也是作者自述,并非跨格式的同条件实测。对于正在评估实时 AI 训练数据管线的团队,MemWAL 的架构论点——将 LSM 树嵌入开放表格式以消除提交瓶颈——提供了可检查的设计思路,但实际生产中的吞吐、延迟和运维成本仍需独立验证。