Frustratingly Easy Domain Adaptation読んだメモ

[0907.1815] Frustratingly Easy Domain Adaptation

目的

簡単にDomain Adaptationをやる．

問題設定

ラベルつきデータが大量にあるsourceとラベルつきデータがあんまりないtarget，2つのドメインを考えて上手いこと学習したい．

方法

$X \in R^F$ から $Y$ を予測したい．この時 $X \in R^{3F}$ のベクトルをつくることを考える． $D^s,\,D^t$ をそれぞれsourceドメイン，targetドメインとすると，
$\Phi^s(x)=<x,x,0>,\,\,\,\Phi^t(x)=<x,0,x>$
としてみる（0は0要素がF個並んだもの）．するとこれを使って学習して得られた重みベクトルのうち，aは両ドメイン共通，bはs固有，cはt固有の重みであると考えられそう．

あとはそれぞれのベクトルでsourceとtargetで学習（アルゴリズムは何でも良し）して，重みwを $w=w_g+w_s,\,w=w_g+w_t$ の形に分解し， $min||w_g||^2+||w_s - w_g||^2+||w_t - w_g||^2$ すれば良いらしい．
これが良い理由の考察として，tとsを分けて最適化するのではなく，両方含んだ式についてminをとろうと考えるからとかなんとか．
致命的な誤読．