DuckLake
5 节点1 篇5 来源
DuckLake是一种开源湖仓格式,其核心设计是将表元数据存储在标准SQL数据库中,而非分散在对象存储的清单文件里。这一架构简化了查询路径:服务器直接指示需读取的Parquet文件,数据文件本身保持不变,仅目录发生变动。
【背景】传统湖仓格式如Iceberg和Delta Lake虽支持开放格式,但依赖复杂的文件级元数据管理,导致小文件问题和查询延迟。DuckLake由荷兰阿姆斯特丹的DuckLabs开发,旨在通过关系数据库解决元数据管理难题。
2025年5月,DuckLake发布0.1版本及宣言,提出“SQL作为湖仓格式”的理念。2026年4月,DuckLake 1.0正式发布,具备生产就绪特性。同年7月,MotherDuck深入解析其架构,强调其在并发写入和事务安全性上的优势。2026年10月,DuckLake 1.1随DuckDB 2.0.0 LTS一同发布,新增超过200项bug修复及功能优化。同期,亚马逊CEO Andy Jassy在财报电话会上提及收购DuckLabs,称DuckDB将成为AWS存储和分析的通用SQL方言,以消除迁移成本。
争议点在于:支持者认为DuckLake消除了传统湖仓的复杂性并提升了性能;批评者或观望者则关注其对特定SQL数据库(如PostgreSQL、SQLite)的依赖是否会在超大规模分布式环境中成为瓶颈。目前尚无定论表明DuckLake已完全取代Iceberg等主流格式,但其与AWS的深度整合可能改变市场格局。
值得观察的是:Quack协议(DuckLabs的新项目,使DuckDB像客户端-服务器数据库一样运行)何时进入稳定版;以及AWS如何将DuckDB集成到其分析服务中,具体API和定价策略如何落地。
事情怎么走到这一步
DuckLake发布0.1版本及宣言,Mark Raasveldt和Hannes Mühleisen阐述将元数据移至SQL数据库的设计理念。
ducklake.select ↗DuckLake 1.0正式发布,宣布为生产就绪版本,保证向后兼容性。
ducklake.select ↗MotherDuck发布深度架构解析,详细说明DuckLake如何通过单一组件简化元数据查找,并对比Iceberg的多层文件读取延迟。
motherduck.com ↗DuckLake 1.1随DuckDB 2.0.0 LTS发布,包含200多项bug修复和新特性,如数据内联(inlining)以解决小文件问题。
thenewstack.io ↗亚马逊Q3财报电话会中,CEO Andy Jassy确认收购DuckLabs,计划将DuckDB作为AWS存储和分析的通用SQL方言。