imHo RSSフィード

2011-11-03

機械学習クラス8 ニューラルネットワーク:表現

f:id:mokehehe:20111103231144p:image:right

http://www.ml-class.org/

非線形仮説

  • なぜ新しいアルゴリズムが必要か?
    • ロジスティック回帰だと、特徴点の2乗、3乗を使おうとすると、特徴が多いと組み合わせが爆発する
  • シグモイド関数

ニューロンと脳

■モデル表現 I

  • j段目のネットワークがsj個のユニット、j+1段目がs{j+1}だとすると、ウェイトΘ行列はs{j+1}×(sj + 1)次元になる。

■モデル表現 II

  • レイヤーが1段だけと考えると、ロジスティック回帰と同じ!

■例と直感I

  • ニューラルネットワークで論理演算(AND, OR)を組み立てられる。

■例と直感II

  • NOT, XNOR
  • レイヤーを重ねると複雑な計算が表現できる。

■多クラス分類

  • 1対多を使う
  • 最後のアウトプットがクラスの数で、一番大きなものがあてはまると考える。

■プログラム演習

  • 手書きのアラビア数字の認識。
  • 特徴は、20x20のピクセル値。5000のトレーニングセット。
    • ピクセル値は-0.13196から1.1277という謎の範囲
  • ロジスティック回帰で認識率94.9% 結構いい気が
    • ピクセルってことは、回転拡縮したり左右にずらしたりするだけで全然対応できないよね?
    • これってトレーニングセットと認識テストで、どちらも同じデータ5000個を使ってる?
  • ニューラルネットワーク:すでに係数がトレーニング済み。認識率 97.5%
  • ドキュメントやソースのテンプレートに詳しい説明が書いてあってほとんど実装するだけなんだけど、やっぱり動くと嬉しい。こうやって例を示してくれて手を動かすと理解がしやすいように感じる。ありがとう、Andrew Ng先生!

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/mokehehe/20111103/ml8