Hatena::ブログ(Diary)

ny23の日記 このページをアンテナに追加 RSSフィード

2009-12-29 AROWを試してみた

AROW は CW より幾分マシか

|  AROW は CW より幾分マシかを含むブックマーク  AROW は CW より幾分マシかのブックマークコメント

今話題?の AROW (Adaptive Regularization Of Weight Vectors)oll 向けの実装を見かけたので,Confidence-Weighted (CW) が Passive-Aggressive (PA)/LIBLINEAR に比べて全然ダメ (PA/LIBLINEAR: 91%, CW: 88%; Perceptron: 89%) だった例のタスク(学習/テストデータは公開中のコードに同梱してある)で,試してみた.パラメタを調整したが (c=100, 50, 10, 5, 1, 0.5, 0.1, 0.05, 0.01, 0.005, 0.001, 0.0005, I=1, 5, 10, 20, 50, 100),PA/LIBLINEAR -0.5% 程度の精度 (90.4%) しか出なかった.繰り返し回数を10回以下とかで固定すれば,AROW が PA より良くなることもありそうな感じだけど,最高精度との間に隔たりがあるところで比べてもしょうがないし,このタスクでは PA/LIBLINEAR の方が良い感じ.なお,ここで比べているのは PA-I.

しかし,CW の論文もそうだったが,Confidence を考慮した学習法は,繰り返し回数を10回以下に制限した実験しか見たことがないなぁ.実数値素性の news20.binary で少し実験した限りでは,PA/CW/AROW/LIBLINEAR 辺りの精度はほぼ同程度だったが,このタスクのように PA/LIBLINEAR の方が有意に良いケースも結構あるのではと思う.というわけで,AROW の手持ちのライブラリへの実装は見送り.

収束が速いことを売りにするなら,いっそ一度しか例を見れない Streamed Learning (例えば,StreamSVM, IJCAI 2009) みたいな文脈で評価した方がいいのではと思った.また sort して類似する素性ベクトルが隣接するようにした場合など,学習データの順序によっては,AROW の方が PA より非常に速く収束する場合もあるようだ.学習データがディスクに載れば普通はオフライン/オンラインで random_shuffle するのであまり意味はないかもしれないが,Streamed Learning みたいな文脈では意味があるかもしれない.

[追記] LIBSVM->LIBLINEAR に表記を直した.謎の学習データだとあんまりなので,上位下位関係抽出ツール に同梱されていた,Wikipedia の階層構造からの知識獲得で使われている教師付きデータ 221,664 件をランダムにソートして 10000 件をテストにして学習してみた.ハイパーパラメタは↑の組み合わせを全てトライ.

PA/LIBLINEAR で 92.43%/92.49%のところ,92.03% (C=50, I=20) ぐらいまでは出た.91.7% (C=10, I=1) というのは良いかな.ちなみに,CW だと,91.41% (C=0.5, I=1) ぐらい.全体的な印象として,CW/AROW は速く収束するけど,精度面では PA/LIBLINEAR に有意に劣る.特に CW はひどくて,繰り返しがほとんど意味ない上,C の値の調整がしにくい印象だった.PA/LIBLINEAR は精度的にはほぼ同等 (LIBLINEAR は学習器を複数含んでいて,平均的には92.3%ぐらいの精度が出ていた.92.49% は s=4, c=0.1).PA は繰り返し回数を減らすと,90.68% (C=0.05, I=1) -> 91.91% (C=0.05, I=5) -> 92.16% (C=0.01, I=10) -> 92.43% (C=0.01, I=20) という感じで精度が上がった.