NCCL

GPU 集合通信库 · Ring 与树形 AllReduce

C++CUDA

1 个工程案例

NCCL·AllReducev2.4.8-1 · NCCL 2.4 系列

AllReduce 的环与双二叉树

用不同通信拓扑组织梯度归约，在带宽利用与启动延迟之间取舍。

Ring AllReduce 树形归约

附源码片段 · 通信与流量