Single GPU DataParallel DistributedDataParallel 参考文献 全コード 比較 CPU 1 GPU 複数GPU(Data Parallel) 複数GPU(Distributed Data Parallel) 執筆途中。あくまでメモなので注意 Pytorchの並列化について。 GAN等の重たいモデルを学習する際や、バッチサイズを大きくしたかったり、学習を高速で終えるために複数のGPUを使いたいときがあります。 そういった場合「並列処理」を使います。PytorchにはDataParallel と DistributedDataParallelの2つがありま…
www.sony.co.jp