Hatena::ブログ(Diary)

糞ネット弁慶

日本声優統計学会/声優統計についてはこちら

2009-10-07

[]ゼミのちはじめてのカーネル法 00:21 ゼミのちはじめてのカーネル法を含むブックマーク

春からやってたPRML自主ゼミが無事上巻を終えた感じなので下巻に移ろうとするも下巻のトピックの説明具合が所々不穏じゃねということで、まずはカーネル法

これを使ってやってみようという話になった初回のゼミ

で、導入という事でリプレゼンター定理を見たわけですが、リプレゼンター定理の証明がシンプルで納得。この本凄いので早く研究室で注文した分も届いてください。

リプレゼンター定理とは、損失関数正則化を加えて最適化する問題において、正則化項がL2ならば、最適解はx_i(i=1,2,¥cdots,n)をサンプル点として

f(x)=¥sum_{i=1}^{n} ¥alpha_i¥cdot k(x_i,x)

の形で書けるというもの。

「おーL2正則化だと¥xiが消えていい感じにサンプル個のカーネル線形和で書けるのかー」とか言ってたらid:syou6162が「甘い、これまでのL2正則化入りのパラメータ推定もカーネルで記述可能だと示唆しているんだ!!!!!!(ここ適当」とか言い出してうおーそりゃもっとすげーとかいう感じで終了。

あと、この本の2章に書かれていたリプレゼンター定理の証明と、後半7章で出てくる再生核ヒルベルト空間を用いた一般的な証明の違いがよくわからなかった。恐らく2章の簡略化した証明でも十分なんだろうけど、7章の証明が「一般化した証明」と書かれている以上、2章の証明には何かしらの制約や、わかりやすさの為に切り捨てた部分が存在するのではないか。そこがはっきりしないままでは無邪気にリプレゼンター定理を適用していいのか悪いのかの判別すらつかない……俺たちはもう駄目だ……とかなったけどきっとどうにかなるに違いないと信じてスルー。

あとこれまで実はよくわかってなかった「高次元への写像内積カーネルで表記」ってのがやっと判った感じ。x,x’について

¥phi(x)=¥{a¥cdot ¥exp(-¥beta(z-x)^2)|z ¥in R¥}

関数を考えるとこれが恐ろしいことに

¥phi_z(x)=a¥cdot ¥exp(-¥beta(z-x)^2)

を要素に持つベクトルが出来上がる。これはzが実数、つまり無限個の要素を持ってるのでこんな奴に対して

¥phi(x)^T ¥phi(x’)

とか内積を計算するのは積分したりしなきゃならんので糞みたいにめんどくさいという事が想像出来る。しかしここでカーネルを考えると

¥phi(x)^T ¥phi(x’) = k(x,x’)

と一発で内積の値が出て超嬉しいとかおーこういう意味なのかと今更知ってしまった。所謂カーネルトリック。この発想は当然SVMの制約式にも生かされてるんだなーとかそことの繋がりにも自覚しつつ寝る。

参考資料はこれ。

機械学習とその応用鹿島さんが京大の授業で話したスライド