imHo RSSフィード

2011-10-24

機械学習 6. ロジスティック回帰 (Logistic Regression)

http://www.ml-class.org/

  • こっちの問題は、ビデオを順に見ていけばまだついていける…

■分類 (Classification)

  • Spam or Not Spam?
  • 訓練データを y=0 または y=1 として学習する
  • 線形回帰はうまく働かない

■仮説表現 (Hypothesis Representation)

■コスト関数

  • non-convex: 局所最小点がいくつもあるので、極小点に収束するとは限らない
  • Cost(hθ(x), y)
    • = -log(hθ(x)) if y=1
      • hθ(x)→1 のとき Cost→∞
    • = -log(1 - hθ(x)) if y=0

■高度な最適化 (Advanced Optimization)

  • Gradient Descent に比べて…
  • Conjugate Gradient
  • BFGS
  • L-BFGS
function [jVal, gradient] = costFunction(theta)
  jVal = (theta(1) - 5) ^ 2 + (theta(2) - t) ^ 2;
  gradient = zeros(2, 1);
  gradient(1) = 2 * (theta(1) - 5);
  gradient(2) = 2 * (theta(2) - 5);

options = optimset('GradObj', 'on', 'MaxIter', '100');
[optTheta, functionVal, exitFlag] = fminuc(@costFunction, initialTheta, options);

■複数クラス分類−1対他

  • 1つとそれ以外で、y=1とy=0として計算
  • hiθ(x) を最大にするiを選ぶ

はてなユーザーのみコメントできます。はてなへログインもしくは新規登録をおこなってください。

トラックバック - http://d.hatena.ne.jp/mokehehe/20111024/ml6
Connection: close