深層強化学習

はじめに ABEJAアドベントカレンダー2023の11日目の記事です。この記事では不完全情報ゲームを解くための手法であるDeepNashについて紹介します。DeepNashはMastering the game of Stratego with model-free multiagent reinforcement learning（arXiv： Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning）で提案されたモデルフリー強化学習をベースとした手法です。通常、強化学習を用いる場合エージ…

1. はじめに 2. 深層強化学習とは 3. Isaac gymとは 4. Isaac gymのインストール 最小条件 実行環境 condaでの環境構築 5. Issac gymでのHello world 6. 最後に トラブルシューティング pythonライブラリのImportError LD_LIBRARY_PATH の設定ミス "Isaac Gym" is not responding 執筆者：千葉工業大学 先進工学研究科 未来ロボティクス専攻 野口 裕貴 監修者：稲葉 貴昭・高橋 浩和 ※ 「Isaac Gym入門」連載記事一覧はこちら 1. はじめに 本稿では、Isaac Gymと呼…

前回、深層強化学習における連続値制御のモデル構築について書きました。今回は、その時に構築したモデルを改良し、精度向上に取り組みます。前回の記事をまだ見ていない方は、ぜひご覧ください。 www.dskomei.com 連続値制御の深層強化学習を改良するために、今回は Soft Actor Critic というモデルを実装します。これは、学習時の選択手の幅をよりもたせるために、目的関数にエントロピー項を追加しています。従来の目的関数は期待報酬の合計でしたが、この目的関数にエントロピー項が加わり、それらを最大化させます。そのことで、期待報酬を大きくしながら選択手の探索幅を広げることも可能にしています…

人間と同じように考える機械を作るのは、人間の大きな夢であり、それができるかもしれないと言われているのが強化学習の枠組みです。強化学習は、ディープラーニングを取り入れることでめざましく進化してきました。今回は、そのディープラーニングを使って行う強化学習である深層強化学習を実践していきます。前回は、方策が離散的な場合の Actor Critic モデルを構築しました。そちらが気になる方は前回の記事を是非ご覧ください。 www.dskomei.com 今回は、方策が連続値である場合の深層強化学習のモデルを実装します。方策が連続値と離散値ではモデルの作り方が異なります。離散値の場合は、Actor モデ…

囲碁や将棋のコンピュータって強いですね。初期レベルでも全然勝てなくて、何度待ったをしたことか。 このようなゲームでは、ある手段を選択すると、状態が変化し、次の状態に移り、再び手段の選択をするということを繰り返し、最終的な勝ち負けが決まります。そして、取りうる手段と状態は有限です。まぁ、人間にとっては無限に感じますが。取りうる状態と手段が有限ならば、状態に合わせた選択手を学習して覚えればよいんじゃねぇということで、Deep Learning の出番なわけです。 これは、深層強化学習というテーマであり（ネタ的にはもう古いかもしれませんが）、ある状態に対して、選択した手段で状態が遷移し、それに合わせ…