AWS
2 节点1 篇3 来源
亚马逊云科技(AWS)针对大规模分布式训练中难以察觉的“静默数据损坏”(SDC)问题,在 Amazon SageMaker HyperPod 平台上推出了一套基于代码层的检测方案。SDC 指硬件返回错误但合理的数值且不触发任何告警,导致 ECC、Xid 和 DCGM 等传统监控手段失效。AWS 通过在 PyTorch DDP 训练循环中嵌入三项检查——非有限梯度检查、环形重放审计和权重指纹比对——来识别故障 GPU 并自动替换节点。实测显示该方案开销约为 7%–10%,误报率上界约为五千分之一。这一进展将检测责任从基础设施层转移至应用层,旨在防止因坏数据污染模型而浪费数千 GPU 小时。
事情怎么走到这一步
AWS 发布技术博客,介绍在 SageMaker HyperPod 上通过三项代码级检查检测 SDC 的方案,包括非有限梯度检查、环形重放审计和权重指纹比对。
aws.amazon.com ↗第三方媒体 AINewsTrend 报道该方案,指出其要求至少三个 GPU 节点,并在 4 台 ml.p5.48xlarge 实例(32 H100 GPUs)集群上完成测试。
ainewstrend.com ↗
还没定论的部分
- 该方案对非 PyTorch 框架(如 JAX/TPU)或其他云环境的适用性如何?
- 在实际生产环境中,频繁替换节点对训练任务连续性和成本的具体影响量化数据尚缺。
- 除了 AWS 提出的软件层检查,硬件厂商(如 NVIDIA)是否有计划提供原生支持以捕获计算路径中的 SDC?