Databricks发布UCDataset测试版：直接流式传输Unity Catalog表至GPU，称模拟负载下训练提速10倍
Databricks推出UCDataset测试版，允许PyTorch直接从Unity Catalog表读取数据至GPU，消除Parquet导出步骤。厂商称在模拟生产负载中训练时间缩短10倍，但此性能数据未经独立验证。
Databricks于2026年11月9日宣布在其AI Runtime平台上发布UCDataset（Unity Catalog Dataset）的测试版。这是一个原生的PyTorch数据加载器，旨在将Unity Catalog中的表格数据直接流式传输到分布式训练作业的GPU中，无需预先导出为Parquet等中间格式或编写自定义加载代码。
该工具针对的是大型模型训练中常见的瓶颈：GPU因等待数据而闲置。传统流程通常需要在每次运行前将表格导出到卷中，这不仅产生存储成本，还导致数据陈旧和治理断链。UCDataset通过直接从云存储读取表格文件并自动在多GPU间分片数据来解决这一问题。
Databricks在博客中表示，在模拟的生产工作负载上，UCDataset相比从导出的Parquet副本加载数据，平均将训练时间缩短了10倍。这一数据基于内部基准测试，尚未获得第三方独立验证。目前，UCDataset支持注册在Unity Catalog中的Delta表，但在测试版阶段尚不支持行过滤器或列掩码。