阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-21 16:47

Dharma-AI

2 节点1 篇4 来源

巴西人工智能实验室 Dharma-AI 发布了一项关于监督微调(SFT)任务端到端耗时预测的内部研究结果。该团队分析了在 NVIDIA H200 GPU 上运行的 272 个生产环境任务,总计约 7,382 GPU 小时。数据显示,业界通用的基于浮点运算次数(FLOP)的计算公式对实际挂钟时间的解释力极低,其决定系数(R²)仅为 0.31,平均绝对误差(MAE)高达 12.41 小时。相比之下,仅使用任务启动前已知配置信息训练的 CatBoost 机器学习模型达到了 R²=0.98 和 MAE=1.71 小时的精度。

核心发现表明,参数量和计算量并非决定微调时长的主要因素;相反,评估频率、检查点写入以及共享集群的资源竞争等运营开销才是主导变量。其中,最重要的预测因子是 num_eval_data(评估过程中处理的样本总数)。这意味着对于管理共享 GPU 集群的团队而言,调度准确性更多取决于 I/O 和评估节奏设置,而非原始算力估算。

然而,目前这些结果仅由 Dharma-AI 单方面报告,且基于单一组织的日志和特定硬件(H200)。题为《Predicting End-to-End Fine-Tuning Time for Generative Language Models》的完整论文即将在 arXiv 发表,但尚未公开代码或数据集。该模型在其他 GPU 代际或 RLHF 等工作负载上的可迁移性尚未得到验证。【存疑】截至发稿,未获回复关于数据独立复现的具体时间表。

事情怎么走到这一步

  1. 2026-11-18

    Dharma-AI 在 Hugging Face 博客发布文章,预览其即将发表的论文,详细分析了 272 个 H200 GPU 上的 SFT 任务。

    huggingface.co ↗
  2. 2026-11-18

    包括 Aiholics、Quanta AI Labs 和 DataPhoenix 在内的多家媒体转载报道,强调了 FLOP 估算与学习型预测器之间的巨大差异。

    aiholics.com ↗

还没定论的部分

  • 完整论文何时在 arXiv 上发表并提供可复现的方法论?
  • 当迁移到不同的 GPU 架构(如 A100、H100)或非 H200 集群时,模型能否保持高精度?
  • 改进的预测准确性是否转化为现实世界调度中可测量的 GPU 利用率提升或空闲时间减少?

来源

  • huggingface.co
登录 / 注册
阅读研究雷达投资体系
Hugging Face Blog (Dharma-AI)
↗
  • aiholics.comAiholics↗
  • quantaailabs.comQuanta AI Labs↗
  • dataphoenix.infoDataPhoenix↗
  • 这一专题下的内容

    • 微调耗时为何远超FLOP估算:评估频率和检查点写入才是主导因素2026-11-19资讯

      Dharma-AI团队用272个生产微调任务的数据证明,业界通用的FLOP公式对实际端到端耗时的解释力极低(R²=0.31,平均误差12.41小时),而仅使用任务启动前已知配置信息的CatBoost模型可达R²=0.98、平均误差1.71小时。模型最重要的预测因子不是参数量或计算量,而是评估样本总量——即你多久评估一次、每次评估多少数据。