Meta工程师T. Rice与A. Afzali解析万卡集群容错：开源工具torchcomms与MCCL如何保障训练不中断
Meta基础设施团队在PyTorch官方频道分享其大规模GPU训练的容错实践。演讲介绍了开源库torchcomms中的容错API，重点讲解了Meta生产环境使用的集合通信库MCCL，以及利用NCCL新原语（ncclShrink, ncclGrow）动态调整通信组而不导致死锁的方法。此外，还探讨了使用torchstore实现检查点至对等内存或本地磁盘的快速恢复机制。
重要性实质性证据E2 未复现写法快讯
Meta基础设施团队的T. Rice和A. Afzali在PyTorch官方频道发布了关于大规模GPU训练容错的演讲视频。该资源针对的是在拥有数万个GPU的集群中，硬件故障成为日常事件时如何保持训练连续性的工程挑战。
根据发布者提供的信息，演讲核心介绍了开源项目torchcomms中的容错API，涵盖NCCL、MCCL和Gloo后端。其中，MCCL被描述为Meta在生产环境中使用的具备容错能力的集合通信库。演讲还将深入探讨其设计原理及容错能力。
内容还包括展示torchcomms如何利用NCCL的新原语——ncclShrink、ncclGrow和ncclCommRevoke——来优雅地缩减或扩展通信组成员，从而避免集群死锁。此外，演讲涉及了新颖的检查点方法，例如通过torchstore将检查点保存至对等内存或本地磁盘，利用GPU间的快速RDMA传输替代缓慢的分布式文件系统写入，以实现实时恢复。