Dharma-AI
2 节点1 篇4 来源
巴西人工智能实验室 Dharma-AI 发布了一项关于监督微调(SFT)任务端到端耗时预测的内部研究结果。该团队分析了在 NVIDIA H200 GPU 上运行的 272 个生产环境任务,总计约 7,382 GPU 小时。数据显示,业界通用的基于浮点运算次数(FLOP)的计算公式对实际挂钟时间的解释力极低,其决定系数(R²)仅为 0.31,平均绝对误差(MAE)高达 12.41 小时。相比之下,仅使用任务启动前已知配置信息训练的 CatBoost 机器学习模型达到了 R²=0.98 和 MAE=1.71 小时的精度。
核心发现表明,参数量和计算量并非决定微调时长的主要因素;相反,评估频率、检查点写入以及共享集群的资源竞争等运营开销才是主导变量。其中,最重要的预测因子是 num_eval_data(评估过程中处理的样本总数)。这意味着对于管理共享 GPU 集群的团队而言,调度准确性更多取决于 I/O 和评估节奏设置,而非原始算力估算。
然而,目前这些结果仅由 Dharma-AI 单方面报告,且基于单一组织的日志和特定硬件(H200)。题为《Predicting End-to-End Fine-Tuning Time for Generative Language Models》的完整论文即将在 arXiv 发表,但尚未公开代码或数据集。该模型在其他 GPU 代际或 RLHF 等工作负载上的可迁移性尚未得到验证。【存疑】截至发稿,未获回复关于数据独立复现的具体时间表。
事情怎么走到这一步
Dharma-AI 在 Hugging Face 博客发布文章,预览其即将发表的论文,详细分析了 272 个 H200 GPU 上的 SFT 任务。
huggingface.co ↗包括 Aiholics、Quanta AI Labs 和 DataPhoenix 在内的多家媒体转载报道,强调了 FLOP 估算与学习型预测器之间的巨大差异。
aiholics.com ↗
还没定论的部分
- 完整论文何时在 arXiv 上发表并提供可复现的方法论?
- 当迁移到不同的 GPU 架构(如 A100、H100)或非 H200 集群时,模型能否保持高精度?
- 改进的预测准确性是否转化为现实世界调度中可测量的 GPU 利用率提升或空闲时间减少?