阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-19 09:35

LanceDB

2 节点1 篇2 来源

LanceDB推出新的“多基路径”(Multi-Base Path)模型,旨在解决超大规模数据集在跨存储桶迁移时的元数据重写难题。【背景】此前,Apache Iceberg依赖绝对路径导致迁移需重写海量元数据,而Delta Lake虽支持相对路径但为浅克隆引入了混合模式牺牲了部分可移植性。LanceDB工程师Weston Pace指出,新设计将常见存储前缀提取为显式的“位置基”(BasePath),文件仅通过base_id加相对路径引用。以Uber将PB级多模态数据分布至多个S3桶为例,该方案使得迁移1000万文件的表仅需修改约5个字符串,既保留了严格的可移植性,又满足了高并发读取需求。

事情怎么走到这一步

  1. 2026-11-17

    LanceDB工程师Weston Pace发布博客,详细阐述Lance格式的新多基路径模型及其在Uber场景下的应用优势。

    lancedb.com ↗
  2. 2025-12-01

    【注:原文提及late 2025】Apache Iceberg社区在v4设计中就相对路径达成初步共识,旨在实现零重写迁移,但尚未最终定稿。

    lancedb.com ↗

还没定论的部分

  • Lance的多基路径模型在实际生产环境中对非Uber类用户的兼容性表现如何?
  • 随着更多格式转向相对或混合路径,行业是否会形成统一的路径解析标准?

来源

  • lancedb.comLanceDB官方博客↗
登录 / 注册
阅读研究雷达投资体系
disconfirmai.com
DisconfirmAI阅读页
↗

这一专题下的内容

  • LanceDB工程师Weston Pace:多基路径让1000万文件的表跨桶迁移只改5个字符串2026-11-17资讯

    LanceDB工程师Weston Pace(曾参与Apache Iceberg和Delta Lake开发)解释了Lance格式新引入的多基路径模型。该设计将文件中常见的存储位置前缀提取为显式的位置基(BasePath),文件通过base_id引用基路径加相对路径。以Uber将单个Lance数据集分布到多个S3桶为例,迁移时只需修改少量基路径字符串而非重写数百万文件引用,同时保持Lance原有的严格可移植性。