マルコフ決定過程

はじめに 『ゼロから作るDeep Learning 4 ――強化学習編』の独学時のまとめノートです。初学者の補助となるようにゼロつくシリーズの4巻の内容に解説を加えていきます。本と一緒に読んでください。 この記事は、各節の記事のリンクページです。 【前巻の内容】 www.anarchive-beta.com 【今巻の内容】 はじめに 記事一覧 1章 バンディット問題 2章 マルコフ決定過程 3章 ベルマン方程式 4章 動的計画法 5章 モンテカルロ法 6章 TD法 7章 ニューラルネットワークとQ学習 8章 DQN 9章 方策勾配法 参考文献 おわりに 記事一覧 1章 バンディット問題 真の期…

Deep Learningを勉強するのに非常に評判の良い書籍のゼロから作るDeep Learningシリーズ、待望の新書が出ました。 2016年に第１弾が出てから、ついに第４弾が出ることも人気の高さが分かります。 早速Amazonで人工知能部門ベストセラー1位を取っています(投稿時点)。 ゼロから作る Deep Learning ❹ posted with ヨメレバ 斎藤 康毅 オライリー・ジャパン 2022年04月06日頃 Amazonで探す Kindleで探す 今回のテーマは深層強化学習になります。 強化学習→深層学習→深層強化学習と無理なく勉強できそうです。 ゼロから作る Deep Le…

NeurIPS 2021のOutstanding papersの1つであるOn the Expressivity of Markov Rewardを理解したいと思いつつ、実験を通じて色々理解を深めようとしてきました（全然できていません）。 論文の内容としては、マルコフ決定過程（MDP）において、3通りのタスクの形で表現でき、そのとき いかなる報酬関数によっても実現できないタスクがある 仮に報酬関数が存在するならば、多項式時間で報酬設計問題を解くことができる ということを示しています。マルコフ報酬の理論体系の提案と、上記の証明、実際のタスクにおいて本手法を使った報酬設計を行うと既存のQ-lear…

どうも、カタミチです。 さて、ここまでで「教師あり学習」の手法、「教師なし学習」の手法まで見てきました。今回は最後の「強化学習」の手法ですね。 理論概要 まず、強化学習の理論の概要からおさらい。 強化学習は、環境から状態を受け取り、そこからより高い報酬を受け取れるような行動を選択するよう学習していく。これですね。 これを「将来にわたって獲得できる累積報酬を最大化する」という風に考えます。時刻をt、累積報酬をRtとすると、式として表すとこんな感じ。 このRtが最大化される事を目指すわけです。ここで、γは割引率と呼ばれるハイパーパラメータです。…ハイパーパラメータ？ 「割引率」は金融でも用いられる…