Hidden Markov Model; HMM あるシステムがマルコフ過程に従って遷移する内部状態を持ち、各状態に応じた記号を確率的に出力すると考えたとき、記号の出現確率分布からシステム内部の状態遷移を推定する確率モデル。 外部から観測できるのは記号の系列だけであり、内部の状態遷移が直接観測できないところから「隠れ」と呼ばれる。
自然言語処理(音声認識、形態素解析)やゲノム解析などに応用されている。
はじめに 本記事では、モデルパラメータは一定なので、依存性は明記しません。 本記事は、隠れマルコフモデルの最尤推定の続きの記事であり、 HMMの最尤推定のEMアルゴリズムにおけるEステップのとを求めるのが主目的となります。 フォワード-バックワードアルゴリズム 隠れマルコフモデルは木構造を持ち、2段階のメッセージパッシングアルゴリズムによって、潜在変数の事後確率が効率的に求められます。 隠れマルコフモデルにおいては、これは特に、フォワード-バックワードアルゴリズム、あるいは、Baum-Welchアルゴリズムと呼ばれます。 基本アルゴリズムはいくつか変形版がありますが、ここでは-アルゴリズムとし…
はじめに 本記事は、マルコフモデルと状態空間モデルの記事の続きです。 本記事では、隠れマルコフモデルについて説明していきます。 隠れマルコフモデルとは、以下の状態空間モデルにおいて、潜在変数が離散変数であるモデルでした。図1 このモデルの同時分布は以下で与えられるのでした。 隠れマルコフモデル 標準的な混合分布モデルの場合と同様に、潜在変数は離散的な多項変数 であり、 どの混合成分が対応する観測 を生成するか記述します。 は1-of-K符号化を取るとします。 かつ を満たします。 は に依存するので、条件付き分布 は遷移確率を要素に表 にまとめることができます。 の 成分 は、以下のように定義…