マルコフ決定過程

DeepMindのDQNからR2D2くらいまでの深層強化学習（Q学習）の発展の歴史を、簡単な解説とtensorflow2での実装例と共に紹介していきます。 まずは深層強化学習の新たな時代を切り開いたDeepMindのDQN（2013）です。論文からはわかりにくいatari環境向けの実装上のテクニックとDQNを構成する各要素が後継手法でどのように改良されていったかのレビューに焦点を置いてBreakout（ブロック崩し）向けにtensorflow2での実装例を紹介します。 DQNシリーズ DQNの進化史 ①DeepMindのDQN - どこから見てもメンダコ DQNの進化史 ②Double-DQN…

環境により行動を決定し、行動により環境が変化する？ 脳が震える～。かえるのクーの助手の「井戸中 聖」（いとなか あきら）....デス。 アナタ、怠惰デスね？！ さて、強化学習はマルコフ決定過程（Markov decision process）を「環境」とみなし、「行動」により環境へと影響し、それに対して「報酬」を得るモデルです。 前のページのA、B選択による報酬の違いはマルコフ決定過程といえます。 Aライン、Ｂライン、Ｓラインからのバスケットボールシュートは、マルコフ決定過程とはいえません。（強化学習に適しません） マルコフ過程を勉強しよう 自分でもよくわからないので、諸先輩方！説明をよろしく…

この記事は「データ構造とアルゴリズム Advent Calendar 2020」20日目の記事です。 19日目は@takilogさん; グラフ上の合流に関する問題とアルゴリズム , 21日目は@tmaeharaさんです。 概要 木探索と強化学習 バンディット問題 モデルベース強化学習 アルゴリズム 評価関数 UCB Crazy Stone AlphaZero MCTS疑似コード Selection: UCB score MuZero その他の応用 最後に References 概要 モンテカルロ木探索 (MCTS) は、木探索にモンテカルロ (ランダム) 要素を加味した評価関数を用いることで、…

おはようございますまたはこんにちはまたはこんばんは。カイヤンです。 本記事はIQ1AdCの8日目です。 IQ1AdCはみんなでIQ1なことを書くAdCです。毎年、IQ1なことを書いてきました。 今年は従来よりもっともっとIQ1な感じで行きます。 具体的には、学会参加報告をそのまま用います。 完全なる使いまわしですね。何でこうなったかと言うと、更新日当日になって存在を思い出して0時過ぎから書き始めたからです。私、怠惰ですね（古い）。 すなわち、聴講メモより上に書いてあることは、基本深夜テンションです。 IBIS2020参加報告 今回は国内最大の機械学習の学会であるIBIS2020の参加報告です。…

【 WAI】第31回 WBA勉強会 予測する脳 ■ 日時：2020/10/23 18:00ｰ21:00 ■ 感想 → 自由エネルギー原理と現象論の話 懇親会で哲学者と話すのは初めての経験 非常に消化不足ではあったが、大変刺激になった ■ 開催・資料 wba-meetup.connpass.com Web 開催： → Web開催： Zoom Webinar （メモ） 18:05 ● 趣旨説明 ・予測する脳：脳は予測する機械 → 状態、観測 → → 状態空間モデル' → 自由エネルギ原理 → 変分ベイズ → 自由エネルギ ＝ エビデンス変分下界ELBO（目的関数） → 目的関数：ELBO → 階層…

概要 読んだ論文 要点ピックアップ 読んだ論文 要点ピックアップ 読んだ論文 要点ピックアップ 読んだ論文 要点ピックアップ 概要 調べたりしたことを、ズラズラとりあえず書いていきます。 読んだ論文 AMDPについて CoastalNavigationwithMobileRobots 要点ピックアップ 従来の運動計画アルゴリズムは、移動ロボットが確実に位置を追跡できることを前提としていることが多い。 しかし、実世界の状況では、信頼性の高い定位が必ずしも実現可能とは限らない。 部分的に観測可能なマルコフ決定過程（POMDP）は、ゴール状態に到達する確実性を最大化する方法の一つであるが、大きな状態…

今回は強化学習の一つであるQ学習(Q-learning)についてです。 Q学習は強化学習の中でも一番と言っていいくらい有名ですが体系的に学ぶ機会は割とないので頑張ってまとめてみました。 収束性の証明とかまでは扱ってません、許してください。 Q学習の概要 設定 モデルフリー型の強化学習 ベルマン最適方程式に基づく価値反復法 行動価値関数とベルマン行動最適作用素 近似ベルマン行動最適作用素によるオンライン学習 まとめ 参考文献 Q学習の概要 モデルフリーの強化学習 ベルマン最適作用素に基づく価値反復法 方策オフ型のオンライン学習 新しい言葉がたくさん出てきましたが順にみていこうと思います。 設定 …

中井さんのITエンジニアのための強化学習理論入門を読んだので、感想。中井さんの書籍は数式や文章のストーリー展開がわかりやすくて、その期待も込みで購入。教育用の書籍になると思うので。 中井さんの新刊気付いてなくて連休中にポチった。強化学習の導入にはめちゃくちゃいい。練習問題があるのは最高。理解度を測れるので。 pic.twitter.com/OqgD11eAAD— くろたんく@激しく多忙 (@black_tank_top) 2020年7月26日 本書の概要 第1章 第2章 第3章 第4章 第5章 必要な前提知識 おすすめの人 その他参考図書 Pythonで学ぶ強化学習（久保さんの書籍 ） 終わり…

www.amazon.co.jp表題の書籍が技術評論社より発売されることになりました。執筆にご協力いただいた方々には、あらためてお礼を申し上げます。販売開始に先立って、「はじめに」「目次」「図表サンプル」を掲載させていただきますので、先行予約される方の参考にしていただければと思います。 はじめに 「Q LearningとSARSAの違いを説明してください。」皆さんは、この質問に即答できるでしょうか？ 本書を読めば、自信を持って答えられます！ —— と、謎の宣伝文句（？）から始まりましたが、少しばかり背景を説明しておきましょう。 2015年に『ITエンジニアのための機械学習理論入門』(技術評論社…

どこか間違ってる可能性があるので,間違ってたら教えてください.勉強中なので,また新しいことが分かったら更新していきます. Q-learningとは 問題設定 目的 で,Q-learningって何? もっと具体的に! 何をするの? 補足説明 実装 Q-learningとは 問題設定 マルコフ決定過程,つまり, :状態の集合(state) :行動の集合(action) :遷移関数(transit function),は状態から行動を実行して,状態に遷移するPro. :報酬関数(reward function),はからをして,に遷移した時に得られる即時報酬. と 選択手法,割引率,学習率,(何らかの…

こんにちは、らくとあいすです。 先日VRChatワールド"UDON AI -tic tac toe-"をパブリック化しました。今回はその内部で使われている強化学習と、UdonSharp*1を用いたVRChatでの実装の要点を記事にしたいと思います。 公開されているワールドではでは三目並べを題材としていますが、単純なサンプルとして経路探索を題材としたものをGitHubにて公開しました。実装の詳細などはこちらを併せて見て頂ければと思います。 MITライセンスにて公開しておりますので、改変等行って頂いても構いません。 VRChatの中で学習できる強化学習をつくりました！三目並べをAI同士で対戦させた…