资讯1 分钟阅读·
NVIDIA工程师讲解NCCL对称内存与GPU发起网络特性
NVIDIA的Jeff Hammond、Hanyue He和Ke Wen在PyTorch官方频道发布教程,介绍NCCL的新特性:对称内存和GPU发起的网络(GIN),并说明其在MoE实现中的应用。
重要性局部证据E2 未复现写法快讯
NVIDIA的三位工程师Jeff Hammond、Hanyue He和Ke Wen在PyTorch官方频道发布了一期关于NCCL高级特性的教程。该视频于2026年9月24日上线,主要讲解NCCL中最新引入的两个功能:对称内存(symmetric memory)和GPU发起的网络(GPU-initiated networking, GIN)。
根据发布者提供的描述,这些新特性被用于诸如DeepEP v2等前沿混合专家模型(MoE)的实现中。教程假设观众已经具备初始化NCCL和执行常见主机发起操作的知识。内容涵盖如何通过对称内存在NVLink域内扩展通信,以及如何利用GIN在互联的GPU节点间进行扩展。所有软件材料均为开源,且提供中英文双语支持。