集合通信

会用 AllReduce、AllGather 这些集合通信，能说清多卡之间的数据怎么流。

学习流程

• 集合通信原语
• 环形和树形算法
• 带宽和延迟
• 拓扑和 NVLink
• 测出多卡通信带宽

去哪学

• NCCL 文档 文档 · 免费