射撃しつつ前転 RSSフィード

2010-07-11

言語処理のための機械学習入門を読んだ

 言語処理のための機械学習入門という本が出版される、という話はtwitterで知っていたのだが、8月ぐらいに出るのだろうとばかり思っていたら、なんかもう発売されているらしい。Amazonでは早速売り切れていたので、某大学生協書籍部まで行って購入してきた。おかげで、この週末は280円で過ごすハメになってしまった。

 まだざっと眺めただけだが、

 といった、これまでの教科書にはあまり載っていなかったような事が載っているのはとても良いと感じた。こういった情報は、これまではどこかの大学研究室で学ぶか、もしくはウェブ上の資料を自分で必死に漁らないと見つけれられなかった。これで3000円しないのは安い。正直、自分が学生の頃にこの本が欲しかった。

 ただ、機械学習に力点がかなり寄っており、あらかじめどうやって自然言語処理に機械学習を応用するかを知っておかないと、この本だけを読んでも応用方法が初心者にはわからないのではないかと感じた。(ちゃんと読めば分類、クラスタリング系列ラベリングとよく使うものがちゃんと載っているのだが、初心者に理解できるのかという不安を感じる。)流れとしては確率言語モデルを読んでからこちらの本を読むといいのかなと思う。

 入門書なので敢えて削っているのだろうとは思うが、最適化手法の最近の進展についての言及がないのが寂しく感じた。また、系列ラベリングの説明は簡潔過ぎて、これだけで理解するのは苦しそうに思えた。

 前者に関してはリストが欲しいという話なので、自分でいくつかソフトウェアを紹介しておく。

  • Classias
    • 2値分類問題用
    • 損失モデルとしてロジスティック回帰とL1損失SVMを選択でき、最適化手法としてはL-BFGS、OWL-QN, Pegasos, FOBOSが実装されている。あとaveraged perceptronも使える。
  • oll
    • 2値分類問題用
    • Perceptron, Passive-Aggressive, ALMA, Confidence Weightedなどが実装されている。
  • Vowpal Wabbit
    • 2値分類問題用だった気がする
    • 確率的勾配降下法。L1正則化に特化しているが、式としてはFOBOSとほぼ同じ…だったと思う。あとfeatureにハッシュかけると素性が超大規模でもいけるぜーとかやってた気がする。(気がする、ばっかりだ…)
  • liblinear
    • 2値分類と多値分類に使える。
    • ロジスティック回帰とSVMが損失モデルで、SVMの最適化手法はcoordinate descent methodでロジスティック回帰の最適化はTrust Region Newton Method、という解釈でよろしいでしょうか。
  • AROW++
    • 2値分類問題用
    • AROWの実装。AROWはConfidence Weightedの人々が最近出した新しいアルゴリズムで、CWよりもノイズに強い。

 これらが参照している論文とかを読んでおけば、最近の教師あり学習研究についてはそれなりにカバーできる…かもしれない。二値分類に関しては。

誰がこの本を読むべきか

 自然言語処理をやっていて機械学習を使ったツールを使っているなら、(そして今まで機械学習の知識をまったく身につけていないなら、)この本は読んでおいた方がいいだろう。その先、興味があればPRMLとかを読めばいいし、なければ自分の研究分野にもどればいい。これまでは機械学習を知りたいとなるといきなりPRMLとかハード選択肢が出てきてしまう状況だったので、この本が出版された意義はとても大きいと思う。

 その他、仕事で機械学習とか使うことになったんだけどようわからん、というような人もまずこの本を読むと良いと思う。

アフィリエイトリンクたち

 自然言語処理と機械学習を学ぶためには、以下の6冊ぐらいを買っておけばとりあえずはよろしいだろうか。

 他にも読むべき本はたくさんあるとは思う。例えば 言語処理学事典 は評判がいいようだ(さすがに3万6千円は怖気ずいてまだ買えていないが…)し、カーネルを使うかどうかは別として、 カーネル多変量解析 はわかりやすくていい本 だった。最近の機械学習まわりを勉強するならMCMCに関する本も避けられないだろう。MCMCはマイナーなようでいて意外と専門書がたくさん出ている(し、わかりやすい本が多い)が、一つ挙げるとすると 計算統計 2 の第1部はわかりやすくてよかったと思う。最適化に関しては これなら分かる最適化数学 はとてもわかりやすかった。

ロジスティック回帰と対数線形モデルは同じものか

 ここからは完全に余談になるが、ロジスティック回帰と対数線形モデルは同じものだと自分は考えているのだが、そう書いてある本を見たことがない(ウェブ上では結構そういう表現は見る気がする)。調べてみると、ロジスティック回帰は誤差が二項分布と仮定、対数線形モデルは誤差が多項分布と仮定、と書いている資料があったりして、うーん、どうなんだろうか。誤差にどういう分布を仮定するかは事前分布をどう置くかで決まるのであって、ロジスティック回帰や対数線形モデルとは関係ないような気がするのだが、そう言いきれる自信が自分にはない。

mamorukmamoruk 2010/07/11 23:46 紹介ありがとうございます!
言語処理学事典、デジタル版は16,000円ですよ。言語処理学会会員は12,000円です。PDF のほうが絶対いいです (笑)

しましましましま 2010/07/12 00:49 > ロジスティック回帰と対数線形モデルは同じものか
素性関数次第だと思います.
素性関数が目的関数の中に入っているのは自然言語処理に独特で,他の分野では素性関数の出力が入力ベクトルになっていると思います.
なので,あまりこの関係について言及しているのは少ないんじゃないでしょうか?

tkngtkng 2010/07/12 01:07 >mamorukさん
 僕は学会員じゃないので16,000円ですね…。12,000円なら気軽とは言えないまでもまぁPRMLの原著ぐらいか、という感覚で買えるのですが、16,000はなにかの勢いがないとまだ手が出ないレベルです…。
>しましまさん
 なるほど。あまり別の分野のことを知らないので、他の分野の事も勉強してみたいと思います。

つぼいつぼい 2010/07/12 09:50 ロジスティック回帰は条件付き確率:
P(y|x) = exp(w'f(x,y))/Z (f:素性関数、Z:正規化項)
をモデル化していますが、対数線形モデルと言うときは回帰でなくて入力ベクトルの分布をモデル化する場合 - p(x)=exp(w'x)/Z - も含んでいるので少し広い概念でしょう(しましまさんのコメントも同様の意図かと思います)。
自然言語処理では条件付き確率のモデル化以外で対数線形モデルを使っているケースはほとんどないので、同じものだと思っていたほうが混乱しない、というのがこの記述の意図ではないでしょうか。

mamorukmamoruk 2010/07/12 12:54 すみません、今日ちゃんと見たら定価16,800円、割引価格15,000円でした。あまり変わらないですね……

niamniam 2010/07/12 14:20 みんなコメント速いですね…(汗
僕は、非常にナイーブな形ではありますがロジスティック回帰を研究で使っていますが、
-ロジスティック回帰
-最大エントロピー法
-対数線形モデル
は同じものだ、と、自分のスライドで説明しています。

tkngtkng 2010/09/16 15:01 >つぼいさん
 詳しい説明ありがとうございます。理解できた、と思います。
>mamorukさん
 なんだかすべてがどうでもよくなり、17,000円ぐらいなら買ってもいいかな、という時もありますが、本当に買ってしまって良いものか。
>niamさん
 みなさんのコメント速度に正直私も付いていくことが出来ておりませんでした。結局、定義の問題だと思うので、厳密さを求める数学者の人は違うって言うかもしれないし言わないかもしれない(定義による)、情報系の人はあんまりそこまで気にしている人は多くない、ということなのかなと思います。

投稿したコメントは管理者が承認するまで公開されません。

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

2005 | 04 | 05 | 06 |
2006 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2007 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2008 | 01 | 02 | 03 | 04 | 05 | 07 | 08 | 09 | 10 | 11 | 12 |
2009 | 01 | 02 | 03 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2010 | 01 | 02 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2011 | 02 | 04 | 05 | 06 | 07 | 08 | 09 | 10 | 11 | 12 |
2012 | 01 | 02 | 03 | 05 | 06 | 11 |
2013 | 01 | 05 |
Connection: close