前回、dlshogiをPyTorch Lightningを使用した並列学習に対応させた、8GPUでどれくらい学習が速くなるか試した。 条件 30ブロック384フィルタのモデル 訓練データ: 35,289,182局面 エポック数: 2 バッチサイズ: 4096 オプティマイザ: AdamW 学習率: 1e-4 (1epochごとに1/2) WeightDecay: 1e-2 訓練時間 ※version_0: 8GPU、version_1: 1GPU8GPUで学習すると、1GPUに対して、学習時間は0.15倍になった。 約6.7倍速くなっている。 精度 訓練損失 8GPUの方が小さく変動しているが…