LanceDB实时引擎
2 节点1 篇2 来源
美国AI数据基础设施公司LanceDB发布Realtime Engine,旨在解决湖仓表流式写入的延迟瓶颈。其核心论点在于,传统的批量提交模型在提交频率与读者可见性之间制造了固有权衡:频繁提交导致元数据风暴,而批量处理则引入数据陈旧性。为打破这一限制,LanceDB推出了MemWAL格式,这是一种直接构建于开放Lance表格式之上的日志结构合并(LSM)树。该设计允许写入操作在对象存储中立即确认为持久化,无需等待完整的表提交,同时保持向量、全文和标量索引实时可用。
这一发展的时间线始于2026年11月17日,当时LanceDB宣布完成5750万美元B轮融资,将其定位为面向前沿AI研究的多模态湖仓平台。次日,即2026年11月18日,该公司发布了Realtime Engine的技术细节,展示了其在机器人训练数据摄取和强化学习轨迹等场景中的应用,这些场景要求新数据在毫秒级内可被搜索。
此举的重要性在于从专有写缓冲向开放格式的架构转变。竞争对手的解决方案通常依赖供应商管理的缓冲区或独立的搜索同步层,这可能导致用户锁定并阻碍跨引擎的实时读取。通过将LSM结构嵌入开放的Lance格式,LanceDB声称消除了这些障碍。然而,目前的性能数据——具体为中位写入可读延迟52毫秒以及四节点合计吞吐946 MB/s——均为厂商自报。截至发稿,尚无独立复现结果公布,因此在第三方基准测试出现之前,其实际生产就绪度及相对于Iceberg或Delta Lake的比较优势仍存争议。
事情怎么走到这一步
LanceDB宣布完成5750万美元B轮融资,定位为面向前沿AI研究的多模态湖仓平台。
explainx.ai ↗LanceDB发布Realtime Engine,推出MemWAL格式,实现在开放Lance表上的流式写入与毫秒级查询能力。
lancedb.com ↗
还没定论的部分
- 独立基准测试是否会确认所声称的52毫秒中位写入可读延迟和946 MB/s吞吐量?
- 在生产环境中,MemWAL压缩的操作开销与现有湖仓维护成本相比如何?
- 与Apache Paimon等现有解决方案相比,机器人与强化学习实验室对该技术的采用率如何?