ryamadaの遺伝学・遺伝統計学メモ このページをアンテナに追加 RSSフィード

数学・コンピュータ関連の姉妹ブログ『ryamadaのコンピュータ・数学メモ』
京都大学大学院医学研究科ゲノム医学センター統計遺伝学分野のWiki
講義・スライド
医学生物学と数学とプログラミングの三重学習を狙う学習ツール
駆け足で読む○○シリーズ
ぱらぱらめくるシリーズ
カシオの計算機
オンライン整数列大辞典

2014-03-26 カーネル推定と特性関数とモーメントとフーリエ変換・級数

[][][][][][][]カーネル推定と特性関数とモーメントとフーリエ変換

  • こちらでGaussian Sequence Modelをなぞっている。その一環
  • カーネル推定は、積分して1になる関数(カーネル関数)を重みづけ関数として、「元の関数(や観測データ)」を畳みこんで推定値(推定関数)を作成する方法
    • カーネル関数には、正規分布の確率密度関数や一様分布のそれなど、色々ある
  • カーネル関数は(負の値を持つ場合もあるが)、確率密度関数のようなものである
  • 確率密度関数には、積率母関数(moment generating function)がある(場合がある)
    • M_X(t) := E(e^{tX})と書かれるが、「確率変数Xにこのように定義される関数」のこと
    • 積率母関数のt=0の周囲のn階導関数は、E(X^n) = M^{(n)}_X(0) = ¥frac{d^n M_X}{dt^n}(0)のように、Xのn次モーメントの期待値が積率母関数Mのn階微分の関数のt=0での式・値になる
  • この積率母関数は、確率密度関数そのものと同様に、確率変数をきちんと定義づける関数であるが、そのような性質を持つ関数に特性関数がある
    • 特性関数は¥phi_X(t) = E¥[e^{itX}¥]のように指数が複素数になったものであって、積率母関数と同様にモーメントをもたらす
      • この表現自体が「フーリエ変換」と見える(参考)
    • E(X^n) = i^{-n} ¥phi_X^{(n)}(0) = i^{-n} ¥[¥frac{d^n ¥phi_X(t)}{dt^n}¥]である
  • 確率密度関数にある特性関数はカーネル関数にも定義できる(多分)。そうすると、モーメントの期待値が特性関数のt=0周りの導関数として取り扱える
  • カーネル関数がq-th order カーネルというとき、p=1,2,...,q-1において¥int_{-¥infty}^{¥infty} v^p K(v) dv=0となる性質があり、このようなpが大きいとカーネル関数を用いた畳みこみ計算は楽(収束が速い?)になる。
    • この¥int_{-¥infty}^{¥infty} v^p K(v) dv=0がモーメントのようなもので、したがって、カーネル関数のモーメントがどうなっているのか、q-th order カーネル関数である、というときのqがわかるとよい。
  • このqを知るのに、カーネル関数をフーリエ変換してやると、t=0周りのn階微分値を取り出すことは容易であって、カーネル関数の畳みこみにおける挙動の重要な情報が取り出せる
  • これが、カーネル推定と特性関数とモーメントとフーリエ変換・フーリエ展開との関係
  • 実際には何をminimax推定するかというと、カーネル関数はK_h(u)=¥frac{1}{h}K(¥frac{u}{h})のように「hという幅が可変」であり、この値として「最適化」をしたいものであるから、それがminimax推定できる枠組みが得られればよい
  • カーネル関数で畳みこんで、それについて台全体に渡って「ずれ」の積分をすることが「リスク関数値」の算出になる
  • その計算をするにあたり、テイラー展開をかませると、台の着目値周りにおけるモーメント・導関数が効いてくる。どのくらいのオーダーまで考慮するかで、テイラー展開の精度が影響を受けるが、q-th order関数を用いて、q次まで見てやることにすれば、q-1次までのモーメントが0だから、台全体での積分によって消える(vanishing moments)。残るはq次だけ(それより高い次数は近似という意味合いで省略してある)。結局、ある程度の次数でのテイラー展開という近似をするときに、1,2,...,q次の項のすべてを計算せずに第q次だけの計算でよくなって便利、というのが、q-th orderカーネルの役どころ(らしい)
  • このようにして計算が楽になったリスクには、カーネル関数の幅を決めるパラメタh(K_h(u)=¥frac{1}{h}K(¥frac{u}{h}))が登場し、このhを小さくすると当てはまりは良くなるが、分散が大きくなる、というminimaxの構図に持ち込まれる