DatologyAI CTO Bogdan Gaza：万亿级合成数据生成的工程瓶颈与优化

DatologyAI 联合创始人兼 CTO Bogdan Gaza 在 2026 年 AI Engineer World's Fair 上发表演讲，介绍了该公司在生成大规模合成数据方面的工程实践。随着网络可用文本接近 30 万亿 tokens 的上限，前沿模型预训练需要更多数据，DatologyAI 通过 BeyondWeb 配方生成了约 12 万亿 tokens 的合成数据，覆盖网页、数学和代码领域。

Gaza 重点分享了从分离的 Slurm/Kubernetes 设置迁移到基于 EKS on HyperPod 的单一 Ray、KubeRay 和 vLLM 管线的过程。他详细阐述了四个主要工程瓶颈及其应对策略：通过批量获取 S3 元数据将处理时间从 9–11 天缩短至约 2 小时；利用适当大小的分区和检查点机制实现 GPU 故障后的可恢复性；在集群间协同调度 CPU 和 GPU 资源；以及通过 vLLM 标志扫描优化推理性能，实现约 40% 的吞吐量提升。

对于正在构建或优化大规模数据生成基础设施的机器学习工程师，此演讲提供了关于如何处理存储元数据延迟、硬件不稳定性和跨集群编排的具体案例参考。