阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化4 分钟阅读DisconfirmAI 编辑部

LanceDB工程师Weston Pace:多基路径让1000万文件的表跨桶迁移只改5个字符串

LanceDB工程师Weston Pace(曾参与Apache Iceberg和Delta Lake开发)解释了Lance格式新引入的多基路径模型。该设计将文件中常见的存储位置前缀提取为显式的位置基(BasePath),文件通过base_id引用基路径加相对路径。以Uber将单个Lance数据集分布到多个S3桶为例,迁移时只需修改少量基路径字符串而非重写数百万文件引用,同时保持Lance原有的严格可移植性。

2026-11-17 01:19

Uber的AI基础设施团队向LanceDB提出了一个生产需求:将单个Lance数据集分布到多个S3桶,以在PB级多模态数据和数千并发读取者的场景下提升吞吐量。这个需求暴露了表格式设计中的一个根本张力——绝对路径牺牲可移植性,纯相对路径无法引用数据集根目录之外的文件。Uber需要同时拥有两者:多位置存储和最大可移植性。

Weston Pace曾参与Apache Iceberg和Delta Lake的开发,他观察到这场路径设计的辩论在两个主流格式中各走了一条弯路。Iceberg最初采用绝对路径,理由是路径无歧义、文件可放在任何位置、解析无需上下文。但在多云环境中,迁移一张表意味着重写包含数百万条绝对路径的每一个元数据文件。2021年起社区开始讨论相对路径支持,2025年末社区开始就v4相对路径设计趋于一致,但尚未最终定稿。Delta走了相反的路:从相对路径起步,2021年加入绝对路径,这为2022年末引入的浅克隆功能奠定了基础,从此变成混合模型,获得了灵活性但失去了原有的可移植性保证。

Pace认为这两种设计的共同问题是:绝对路径的灵活性在实践中很少被真正使用——文件几乎总是位于表根目录下;而一旦文件跨越多个位置,垃圾回收、凭证分发和迁移推理都变得困难。更关键的是,零重写承诺在引入浅克隆、文件导入、分层存储或多桶分布等需要绝对引用的操作时就开始出现裂缝。真正需要的不是灵活性,而是最大可移植性:无论表当前处于什么分布形态,迁移都应简单、快速、可预测。

Lance的起点与其他格式不同。它有两个设计前提:可预测性优先于灵活性——所有文件位于已知目录结构中(data/、_versions/、_transactions/、_deletions/、_indices/),路径解析确定性强;严格可移植性——每个路径都是相对的,复制数据集即可立即工作,无需更新元数据。有了这两个前提,问题被重新框定为:如何在保持路径相对的同时让单表跨越多个存储位置?

答案是一个名为位置基(location base)的显式概念。在manifest中新增一个BasePath数组,每个条目包含id、name、is_dataset_root标志和path字符串。文件通过base_id(protobuf varint编码,128个基以内仅占1字节)引用其所在基,再加上基内的相对路径。is_dataset_root为true时,基被视为标准Lance数据集根目录,解析数据文件需加上data/子目录;为false时,基直接指向文件目录,适用于多桶分布场景。

以Uber的设置为例:bucket-1是主数据集根(is_dataset_root: true),保留标准目录结构和版本化manifest;bucket-2和bucket-3是纯数据桶(is_dataset_root: false),只存放.lance数据文件。所有位置注册在manifest的base_paths中,每个fragment通过base_id指向其存储位置。写入时round-robin分配到各数据桶,读取时自动跨所有已注册基并行展开。

这一设计的核心收益是:迁移一张拥有1000万文件、分布在5个桶的表,只需修改5个基路径字符串,而非重写1000万条文件引用。Pace将其总结为四个特性——受控灵活性(多位置但有显式结构)、最大可移植性(改基不改文件)、可组合可移植性(选择哪些基一起迁移)、操作清晰度(垃圾回收和凭证分发只需遍历基路径而非文件列表)。

多基路径还解锁了其他场景:将热点数据暂存到Lustre等高性能并行文件系统、跨区域分布使训练和推理各自读取本地存储、单基故障时仅切换受影响基的路径而非整个数据集、以及浅克隆和分支实验——clone通过基路径引用源数据集,自身只存储manifest和新增文件。

需要指出的是,这是LanceDB自身格式的设计文档,由厂商发布。文章描述了Uber的需求和设计原理,但未公开具体的吞吐量提升数字或独立基准测试结果。设计假设基的数量始终很小——Pace论证说无论是文件导入、浅克隆还是多桶分布,不同基的数量都保持较少,即便表引用数百万文件。这一假设在极端场景下是否成立,以及多基路径在实际生产中的性能表现,仍需独立验证。

登录 / 注册
阅读研究雷达投资体系

来源

  • lancedb.com↗
带入研究 →