https://pytorch.org/docs/stable/notes/ddp.html#internal-design の日本語訳 + おまけの脚注 pytorch はv1.12 Internal Design ここでは、torch.nn.parallel.DistributedDataParallelがどのように動作しているかを、1つの反復処理の各ステップの詳細に踏み込んで明らかにする。 前提条件 DDPはc10d ProcessGroupに依存して通信を行います。したがって、アプリケーションはDDPを構築する前にProcessGroupのインスタンスを作成する必要があります。 構築 …
