Meta披露Prometheus集群架构：超11%GPU作备援，训练中断率降99%
Meta公布俄亥俄州Prometheus超级集群细节，显示其通过高比例GPU备援和容错机制，将大规模AI训练中断次数大幅降低。
重要性实质性证据E3 可检验写法标准
美国科技公司Meta于2026年10月20日披露了其位于俄亥俄州新奥尔巴尼的“Prometheus”超级计算集群的运行细节。该集群旨在支持大规模人工智能模型训练，目前正向100万颗GPU规模扩张。Meta表示，为了维持训练任务的连续性，该集群投入了显著的冗余成本，超过11%的GPU处于闲置状态，作为热备援或已损坏待替换单元。
在硬件配置上，Prometheus采用Nvidia GB200/GB300系统，每个NVLink域包含72颗GPU，但实际训练仅使用64颗，其余8颗作为即时接管的热备援。Meta解释称，单一GPU故障可能导致整个机柜退出集群，热备援机制可避免此类连锁反应，从而缩短中断时间。此外，集群还部署了分布式检查点机制，当故障范围较大时，可将模型状态异步保存至多层存储，防止从头重跑。
Meta坦言，随着集群规模扩大，信号完整性与电力管理成为严峻挑战。集群内拥有超过60万条NVLink连线，任何轻微的信号劣化都可能触发恢复流程。为此，Meta引入了持续遥测与L11诊断测试，并在软件层面使用Dynamo Dimmer逐步调整GPU功耗，以应对电力尖峰。经过一年的工程优化，Prometheus的训练中断次数较2025年中期下降了99%，从每8千颗GPU每日近千次降至约11次。Meta的目标是将中断率进一步压低至每8千颗GPU每日约两次。