UCDataset

美国数据智能公司 Databricks 于2026年11月9日发布 UCDataset 测试版，这是一款原生 PyTorch 数据加载器，旨在将 Unity Catalog 表直接流式传输至 GPU，消除传统训练流程中导出 Parquet 文件的步骤。该工具通过自动处理多 GPU 数据分片，声称在模拟生产负载下可将推荐模型训练时间缩短10倍，同时确保数据治理权限自动生效。

【背景】当前分布式训练常因数据管道瓶颈导致昂贵的 GPU 闲置，团队需手动维护从存储到计算节点的复杂数据搬运逻辑。UCDataset 试图通过直接读取云存储中的 Delta 表文件来解决这一问题，支持实时过滤和删除向量应用。

尽管厂商提供了基准测试数据，但截至发稿，这一“10倍提速”尚未获得独立第三方的复现验证。此外，该功能目前仅支持结构化 Delta 表，非结构化数据需使用另一组件 UCVolumeDataset。读者应关注后续是否有社区或竞争对手针对其实际生产环境性能发布的对比评测，以及该 Beta 版本向正式版过渡时的兼容性承诺。