Hatena Blog Tags
はてなブログ トップ
マルコフ決定過程
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

マルコフ決定過程

(サイエンス)
【まるこふけっていかてい】

Markov Decision Process; MDP
マルコフ過程を基に、各状態で報酬が与えられるようにしたモデル。強化学習の分野で用いられる。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
開けて悔しき玉手箱のブログ•先月

モンティ・ホール問題と実質的に同型である「3囚人問題」については、かつて日本で精力的に研究された。

モンティ・ホール問題 確率論英語3囚人問題 出典: フリー百科事典『ウィキペディア（Wikipedia）』 モンティ・ホール問題閉まった3つのドアのうち、当たりは1つ。例示のように1つのドアが外れとわかった場合、直感的には残り2枚の当たりの確率はそれぞれ1/2になるように思える。 モンティ・ホール問題'（モンティ・ホールもんだい、英: Monty Hall problem）とは、確率論の問題で、ベイズの定理における事後確率、あるいは主観確率の例題の一つとなっている。モンティ・ホール（英語版）（Monty Hall, 本名：Monte Halperin）が司会者を務めるアメリカのゲームショー番組…

関連ブログ

勉強したことを共有するブログ•2 か月前

Reinforcement Learning No.1

パラパラめくる強化学習。 教材はこちら。 強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習サマースクール講義資料） from Shota Imai www.slideshare.net 強化学習の基礎 そもそも強化学習とは、、人工知能の部分技術の、機械学習のうち、意志決定則を学習する方法のこと。意志決定する脳みそをエージェントという。エージェントがある環境の中で、目標達成のための意志決定の戦略を定式化して学習する。どうやって意志決定するかと言うと、エージェントが環境から状態を知覚して、意志決定によって行った行動が、成功信号となる報酬と次の状態を知覚して、方策を学習する。いろいろ…

どこから見てもメンダコ•5 か月前

DQNの進化史 ①DeepMindのDQN

DeepMindのDQNからR2D2くらいまでの深層強化学習（Q学習）の発展の歴史を、簡単な解説とtensorflow2での実装例と共に紹介していきます。 まずは深層強化学習の新たな時代を切り開いたDeepMindのDQN（2013）です。論文からはわかりにくいatari環境向けの実装上のテクニックとDQNを構成する各要素が後継手法でどのように改良されていったかのレビューに焦点を置いてBreakout（ブロック崩し）向けにtensorflow2での実装例を紹介します。 DQNシリーズ DQNの進化史 ①DeepMindのDQN - どこから見てもメンダコ DQNの進化史 ②Double-DQN…

クーの自由研究•5 か月前

貴方はこの世界をどのように感じていますか？

わたし「本当は１人は嫌です！」妖精さん「それはたやすいねがいです」 （普通のルックスと話題の）星野源様は紅白攻めましたね。かえるのクーの助手の「井戸中 聖」（いとなか あきら）でございます。素晴らしいと思います。 ショートスパンの納期がまたまたやってきました。しばらく毎週が納期です。お仕事がんばります！ （ぱっぱっぱらっぱ！：わたしちゃんと妖精さんたち） 純粋な確率的世界は学習可能なのでしょうか？ マルコフ決定過程を勉強中です。量子力学的な事象にもとても興味があります。 そこで素朴な疑問を持ちました。 結局この世の中は、因果律が主に支配するマルコフ決定過程的な流れが根底にありそれに支配されてい…

クーの自由研究•6 か月前

マルコフ決定過程ってなんなのさ

環境により行動を決定し、行動により環境が変化する？ 脳が震える～。かえるのクーの助手の「井戸中 聖」（いとなか あきら）....デス。 アナタ、怠惰デスね？！ さて、強化学習はマルコフ決定過程（Markov decision process）を「環境」とみなし、「行動」により環境へと影響し、それに対して「報酬」を得るモデルです。 前のページのA、B選択による報酬の違いはマルコフ決定過程といえます。 Aライン、Ｂライン、Ｓラインからのバスケットボールシュートは、マルコフ決定過程とはいえません。（強化学習に適しません） マルコフ過程を勉強しよう 自分でもよくわからないので、諸先輩方！説明をよろしく…

カイヤン雑記帳•6 か月前

【IQ1AdC】新しい生活様式におけるIBIS2020参加報告【12/8】

おはようございますまたはこんにちはまたはこんばんは。カイヤンです。 本記事はIQ1AdCの8日目です。 IQ1AdCはみんなでIQ1なことを書くAdCです。毎年、IQ1なことを書いてきました。 今年は従来よりもっともっとIQ1な感じで行きます。 具体的には、学会参加報告をそのまま用います。 完全なる使いまわしですね。何でこうなったかと言うと、更新日当日になって存在を思い出して0時過ぎから書き始めたからです。私、怠惰ですね（古い）。 すなわち、聴講メモより上に書いてあることは、基本深夜テンションです。 IBIS2020参加報告 今回は国内最大の機械学習の学会であるIBIS2020の参加報告です。…

みぞメモ•8 か月前

【WAI】第31回 WBA勉強会　予測する脳

【 WAI】第31回 WBA勉強会 予測する脳 ■ 日時：2020/10/23 18:00ｰ21:00 ■ 感想 → 自由エネルギー原理と現象論の話 懇親会で哲学者と話すのは初めての経験 非常に消化不足ではあったが、大変刺激になった ■ 開催・資料 wba-meetup.connpass.com Web 開催： → Web開催： Zoom Webinar （メモ） 18:05 ● 趣旨説明 ・予測する脳：脳は予測する機械 → 状態、観測 → → 状態空間モデル' → 自由エネルギ原理 → 変分ベイズ → 自由エネルギ ＝ エビデンス変分下界ELBO（目的関数） → 目的関数：ELBO → 階層…

chumonのブログ•8 か月前

京大大学院情報学研究科社会情報学専攻に合格するまでにしたこと

はじめに 院試の概要・分析 院試の概要 何点取れればいいの？ 科目ごとでやったこと 時系列でやったこと 本番の流れ 8月1日(試験1日目) 8月2日(試験2日目) 感想とか [おまけ] 本番が終わった後の流れと開示結果 はじめに 令和2年8月1日・2日に京都大学情報学研究科の社会情報学専攻の大学院入試を受け、無事合格することができました。 合格してすぐの頃はブログを書こうという気はあまりなかったのですが、院試合格後に後輩から院試のことを聞かれることがあったり、自分自身が院試勉強中に諸先輩方のブログを参考にさせていただいたこともあったので、(院試から約2ヶ月経過してしまったけど)書くことにしまし…

BEIKE blog•10 か月前

論文メモ

概要 読んだ論文 要点ピックアップ 読んだ論文 要点ピックアップ 読んだ論文 要点ピックアップ 読んだ論文 要点ピックアップ 概要 調べたりしたことを、ズラズラとりあえず書いていきます。 読んだ論文 AMDPについて CoastalNavigationwithMobileRobots 要点ピックアップ 従来の運動計画アルゴリズムは、移動ロボットが確実に位置を追跡できることを前提としていることが多い。 しかし、実世界の状況では、信頼性の高い定位が必ずしも実現可能とは限らない。 部分的に観測可能なマルコフ決定過程（POMDP）は、ゴール状態に到達する確実性を最大化する方法の一つであるが、大きな状態…

AIの勉強記録•10 か月前

Q学習の勉強

今回は強化学習の一つであるQ学習(Q-learning)についてです。 Q学習は強化学習の中でも一番と言っていいくらい有名ですが体系的に学ぶ機会は割とないので頑張ってまとめてみました。 収束性の証明とかまでは扱ってません、許してください。 Q学習の概要 設定 モデルフリー型の強化学習 ベルマン最適方程式に基づく価値反復法 行動価値関数とベルマン行動最適作用素 近似ベルマン行動最適作用素によるオンライン学習 まとめ 参考文献 Q学習の概要 モデルフリーの強化学習 ベルマン最適作用素に基づく価値反復法 方策オフ型のオンライン学習 新しい言葉がたくさん出てきましたが順にみていこうと思います。 設定 …

くろたんく雑記帳•昨年

【書評】ITエンジニアのための強化学習理論入門

中井さんのITエンジニアのための強化学習理論入門を読んだので、感想。中井さんの書籍は数式や文章のストーリー展開がわかりやすくて、その期待も込みで購入。教育用の書籍になると思うので。 中井さんの新刊気付いてなくて連休中にポチった。強化学習の導入にはめちゃくちゃいい。練習問題があるのは最高。理解度を測れるので。 pic.twitter.com/OqgD11eAAD— くろたんく@激しく多忙 (@black_tank_top) 2020年7月26日 本書の概要 第1章 第2章 第3章 第4章 第5章 必要な前提知識 おすすめの人 その他参考図書 Pythonで学ぶ強化学習（久保さんの書籍 ） 終わり…