torch九项目,pytorch是啥

DDP等分布式模式下的概念。 分布式通信过程主要是完成模型训练过程中参数信息的传递，主要考虑通信后端和通信模式的选择，后端和模式严重影响整个训练的收敛速度，相差2~10倍。

后端包括NCCL、NVIDIA、Gloo、MPI和OpenMPI。 从测试效果来看，如果显卡支持nccl，建议选择nccl作为后端。 其他硬件(非nccl )请考虑gloo、mpi(OpenMPI )。