imHo

機械学習クラス８　ニューラルネットワーク：表現

http://www.ml-class.org/

■非線形仮説

• なぜ新しいアルゴリズムが必要か？
  • ロジスティック回帰だと、特徴点の２乗、３乗を使おうとすると、特徴が多いと組み合わせが爆発する
• シグモイド関数

■ニューロンと脳

■モデル表現 I

• j段目のネットワークがsj個のユニット、j+1段目がs{j+1}だとすると、ウェイトΘ行列はs{j+1}×(sj + 1)次元になる。

■モデル表現 II

• レイヤーが１段だけと考えると、ロジスティック回帰と同じ！

■例と直感I

• ニューラルネットワークで論理演算(AND, OR)を組み立てられる。

■例と直感II

• NOT, XNOR
• レイヤーを重ねると複雑な計算が表現できる。

■多クラス分類

• １対多を使う
• 最後のアウトプットがクラスの数で、一番大きなものがあてはまると考える。

■プログラム演習

• 手書きのアラビア数字の認識。
• 特徴は、20x20のピクセル値。5000のトレーニングセット。
  • ピクセル値は-0.13196から1.1277という謎の範囲
• ロジスティック回帰で認識率94.9% 結構いい気が
  • ピクセルってことは、回転拡縮したり左右にずらしたりするだけで全然対応できないよね？
  • これってトレーニングセットと認識テストで、どちらも同じデータ5000個を使ってる？
• ニューラルネットワーク：すでに係数がトレーニング済み。認識率 97.5%

• ドキュメントやソースのテンプレートに詳しい説明が書いてあってほとんど実装するだけなんだけど、やっぱり動くと嬉しい。こうやって例を示してくれて手を動かすと理解がしやすいように感じる。ありがとう、Andrew Ng先生！

Permalink | コメント(0) | トラックバック(0)