imHo RSSフィード

2011-10-02

機械学習コース 線形回帰 (Linear Regression)

http://www.ml-class.org/

ビデオが細切れなのと、わからなかったら見返せるのがいいね。すでにぶっ通しでやり続ける忍耐力がない…。

■ Model Representation

Hypothesis:

■ Cost Function

コスト関数:

2乗誤差を最小にするθ0, θ1を求める

■ Cost Function - Intuition I

θ0を0に固定してθ1だけの関数として、(1,1), (2,2), (3,3)のデータに対して手で計算してθ1を求める。

■ Cost Function - Intuition II

グラフを使って説明

■ Gradient Descent (最急降下法)

  • 収束するまで続ける

    • j=0とj=1について
    • 同時に更新する
  • θの初期値によって異なる点に収束する
  • α: learning rate
  • 偏微分項は次のビデオで説明する

■ Gradient Descent Intuition

  • また、θ0は無視してθ1の1変数の場合で説明
  • αは固定でもlocal minimalに収束する
    • ステップを進めるにつれてαを小さくする必要はない

■ Gradient Descent For Linear Regression

  • "Batch" Gradient Descent: 全てのデータを使う
  • 反復なしで求める方法もある

はてなユーザーのみコメントできます。はてなへログインもしくは新規登録をおこなってください。

トラックバック - http://d.hatena.ne.jp/mokehehe/20111002/ml2
Connection: close