Hatena::ブログ(Diary)

糞ネット弁慶

日本声優統計学会/声優統計についてはこちら

2009-12-24

[]ゼミ納め & EM、GEM(一般化EM)、VB(変分ベイズ00:30 ゼミ納め & EM、GEM(一般化EM)、VB(変分ベイズ)を含むブックマーク

というわけでゼミ納め。

CiNii 論文 -  EMアルゴリズムの新展開 : 変分ベイズ法

自然言語処理のための変分ベイズ法(pdf)

変分ベイズ学習 Variational Bayes Learning(pdf)

EMアルゴリズムGEM(一般化EM)、VB(変分ベイズ)の話をした。

変分ベイズは名前だけ聞くと仰々しいけどやってることは式変形はEMやGEMと同じノリだったので、EMとGEMの式変形を何度か追えば納得できる感じ。

超大雑把な流れとしては

  • 最適化とか使わないで最尤推定したい!→EMで値を更新していこう
  • EMじゃ計算が糞めんどくさい項がある!→q(z)を使ってp(z)を近似しよう!(GEM
  • でもこれだけじゃ満足できない!!!!
    • 過学習とか起こりそう…
    • モデル構造とか↑の2つじゃ決められなさそう…
    • と言うことで、パラメータやモデル構造を確率変数として学習するベイズ学習ならいけそう!(変分ベイズ
      • その時でもテスト分布をGEMq(z)のように使うといけるので式変形も複雑じゃない
      • ベイズ学習だと過学習を防げるってのはPRML上巻の線形回帰だか判別だかのところで出てくる

変分法は「物理における平均場近似である」とか書いてあるので平均場近似をぐぐるも糞難しそうな内容でヒーと言いたくなりますが、式変形としては各確率変数が独立ですよねという感じなので比較的飲み込みやすいかと。

あとはオイラーラグランジュ方程式とか色々出てくるけど上に貼った資料を読めば大抵判るはず。

トラックバック - http://d.hatena.ne.jp/repose/20091224/1261582217