マルコフ性

今回は、HMM（隠れマルコフモデル）の構造化変分ベイズ推論をPythonで実装します。 モデルと推論方法に関しては、書籍「ベイズ推論による機械学習（須山）」の5-3章を参考にしています。詳しい途中計算はこちらをご参照ください。 機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書) 作者: 須山敦志,杉山将 出版社/メーカー: 講談社 発売日: 2017/10/21 メディア: 単行本（ソフトカバー） 今回のコードをgithubに載せています。 githubはこちら Twitterフォローよろしくお願いいたします！ twitterはこちら HMM（隠れマルコフモデ…

2022年度のアクチュアリー試験を受けてきたので、記憶の新しいうちに書いておこうと思って。 損保 席に着くと問題は3問です、と画面に。簡単そうな予感に感謝し(あとで撤回します)、思ってた以上にぬるっとスタート。 めっちゃ緊張した。最初の方はそれでめっちゃミスるし、大問1で解けない問題がいくつもあったのですごくまずい。インフレを考慮するCLを直前にやってたので何度もミスりつつもそれっぽい値が出る。わからないものをいったん飛ばして大問2へ。緊張でノドがカラカラ。 大問2を解いてるあたりでようやく落ち着いてくる。普段なら解かなければいけない問題もいくつか飛ばしていたので大問1まで遡って欄を埋める。正…

MCMC名前はかっこいいですよね。使いこなせるとカッコいいんですが、なかなか初見で理解するのが難しいです。以前自分で勉強したときも段階的に理解できるような記事がなくて苦労した記憶があるので、今回はそのような記事を作るというのが目的です。本日の内容です。 MCMCとは？ そもそもMCMCで何がしたいの？ ベイズの定理と共役事前分布 事後分布が解析不能な形な時の方法について サンプリングって何？ サイコロの出目のサンプリング 正規分布からのサンプリング 現在の情報を使ったサンプリング 2状態、確率1/2の状態遷移 MCMCのアルゴリズムを見てみる MCMCで事後分布の情報を取れる理由 実際の挙動を…

0. この投稿の概要 1. 各章の概要 1章 バンディット問題 2章 マルコフ決定過程 3章 ベルマン方程式 4章 動的計画法 5章 モンテカルロ法 6章 TD法 7章 ニューラルネットワークとQ学習 8章 DQN 9章 方策勾配法 10章 さらに先へ(興味あるトピックだけ抜粋) 2. 感想 3. その他の学習ソース 0. この投稿の概要 ゼロから作るディープラーニングの新作、強化学習編を読んで学んだことをまとめます。ご存知の方が多いと思いますが、このシリーズは可能な限りライブラリを使わずにディープラーニングを実装しながら理解を深めていく構成になっています。 ゼロから作るDeep Learni…