Hatena::ブログ(Diary)

西尾泰和のはてなダイアリー

2011-11-10

変分ベイズの行間を読んでグラフィカルモデルに情報を書きたしてみた

変分ベイズを勉強中。数式も、グラフィカルモデルも、最小限のことしか書いていないから行間を読むのが大変だ。ようやく少しわかったので独自記法でグラフィカルモデルに書きたしてみた。

まず混合正規分布のグラフィカルモデルについて、グラフィカルモデルは変数の間の依存関係を表現するものであって、それがどういう依存の仕方をしているかとか、式に出てこない名前のついていない値とかは書かれていない。だから実装をする際に書かれていない情報を補ってやる必要がある。パラメータμとΣから「ガウス分布」で式に出てこない確率変数Yが決まり、パラメータπから「多項分布」によって確率変数Zが決まる。観測された変数XはY^Zで決まる。

f:id:nishiohirokazu:20111110150849j:image

変分ベイズの話でやりたかったことは、まずはこれらのパラメータをベイズ化することだった。ベイズ化するとは、そのあたいが確率変数であるとみなして、事前分布を導入することだ。ガウス分布の共役事前分布はガウスウィシャート分布、多項分布の共役事前分布はディリクレ分布になる。そしてその分布にそれぞれまた新しいパラメータがある。

f:id:nishiohirokazu:20111110150908j:image

ようやくやりたいことがわかった。実装までの道程は長い…。

ipythonのプロンプトが化けてしまった→解決

なぜか一度ipythonを終了してまた起動したらプロンプトがおかしくなってしまった。resetしてもTerminal.appを再起動しても治らない。

34In[1;3[0;34][0

何をいじったせいなのか…

しばらく悩んだけどもipythonの起動時にreadlineに関する警告が出ていたのでsudo port install py27-readlineしたら直った。うーん、何が原因だったんだろう。