Google Kubernetes Engine (GKE) とpythonの分散処並列理ライブラリRayで安価に大規模分散並列強化学習(Ape-Xアーキテクチャ)の実行環境をつくるチュートリアルです。GKEのプリエンプティブルインスタンスを活用することで、総リソース 128 vCPU, NVIDIA Tesla P4 x1, 256 GB memory のクラスタがざっくり150-200 円/時間になります。(2021年8月時点) はじめに 分散並列強化学習のメリット Ape-X アーキテクチャ なぜGKEを使うか? プリエンプティブルVMが格安 Autoscalingがお手軽 なぜRayを…