阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-18 12:46

DuckLake

5 节点1 篇5 来源

DuckLake是一种开源湖仓格式,其核心设计是将表元数据存储在标准SQL数据库中,而非分散在对象存储的清单文件里。这一架构简化了查询路径:服务器直接指示需读取的Parquet文件,数据文件本身保持不变,仅目录发生变动。

【背景】传统湖仓格式如Iceberg和Delta Lake虽支持开放格式,但依赖复杂的文件级元数据管理,导致小文件问题和查询延迟。DuckLake由荷兰阿姆斯特丹的DuckLabs开发,旨在通过关系数据库解决元数据管理难题。

2025年5月,DuckLake发布0.1版本及宣言,提出“SQL作为湖仓格式”的理念。2026年4月,DuckLake 1.0正式发布,具备生产就绪特性。同年7月,MotherDuck深入解析其架构,强调其在并发写入和事务安全性上的优势。2026年10月,DuckLake 1.1随DuckDB 2.0.0 LTS一同发布,新增超过200项bug修复及功能优化。同期,亚马逊CEO Andy Jassy在财报电话会上提及收购DuckLabs,称DuckDB将成为AWS存储和分析的通用SQL方言,以消除迁移成本。

争议点在于:支持者认为DuckLake消除了传统湖仓的复杂性并提升了性能;批评者或观望者则关注其对特定SQL数据库(如PostgreSQL、SQLite)的依赖是否会在超大规模分布式环境中成为瓶颈。目前尚无定论表明DuckLake已完全取代Iceberg等主流格式,但其与AWS的深度整合可能改变市场格局。

值得观察的是:Quack协议(DuckLabs的新项目,使DuckDB像客户端-服务器数据库一样运行)何时进入稳定版;以及AWS如何将DuckDB集成到其分析服务中,具体API和定价策略如何落地。

事情怎么走到这一步

  1. 2025-05-27

    DuckLake发布0.1版本及宣言,Mark Raasveldt和Hannes Mühleisen阐述将元数据移至SQL数据库的设计理念。

    ducklake.select ↗
  2. 2026-04-01

    DuckLake 1.0正式发布,宣布为生产就绪版本,保证向后兼容性。

    ducklake.select ↗
  3. 2026-07-10

    MotherDuck发布深度架构解析,详细说明DuckLake如何通过单一组件简化元数据查找,并对比Iceberg的多层文件读取延迟。

    motherduck.com ↗
  4. 2026-10-20

    DuckLake 1.1随DuckDB 2.0.0 LTS发布,包含200多项bug修复和新特性,如数据内联(inlining)以解决小文件问题。

    thenewstack.io ↗
  5. 2026-10-31

    亚马逊Q3财报电话会中,CEO Andy Jassy确认收购DuckLabs,计划将DuckDB作为AWS存储和分析的通用SQL方言。

登录 / 注册
阅读研究雷达投资体系
thenewstack.io ↗

还没定论的部分

  • Quack协议从beta阶段进入稳定版的具体时间表及其对多用户生产环境部署的影响。
  • AWS如何将DuckDB/DuckLake集成到Redshift、Athena等服务中,具体的API兼容性和性能基准数据。
  • 在超大规模(PB级)且高并发写入场景下,依赖单一SQL数据库作为元数据目录的性能瓶颈是否存在及解决方案。

来源

  • thenewstack.ioThe New Stack: DuckLake首席开发者访谈↗
  • ducklake.selectDuckLake官网及FAQ↗
  • ducklake.selectDuckLake 0.1发布博客↗
  • motherduck.comMotherDuck: DuckLake架构深度解析↗
  • duckdb.orgDuckDB官方文档: DuckLake扩展↗

这一专题下的内容

  • DuckLake首席开发者:把元数据当关系数据库问题,湖仓查询就只剩目录和Parquet文件2026-11-15资讯

    DuckLabs首席开发者Pedro Holanda解释DuckLake 1.1的核心设计选择:用标准SQL数据库存储表元数据,取代散落在对象存储中的清单文件。查询路径变成:发出查询,服务器告诉你该读哪些Parquet文件,数据文件不变,只有目录在变。