MLaPP アドベントカレンダー7日目:Ch.7 Linear regression

なんとか7日目を迎えることができました.1週間というのは長いものです.しかし,これでまだ1/4の章.しかも簡単な部類の章ばかりなので,MLaPPこわい.ということで線形回帰の章です.

Model specification

    • 線形回帰モデル
    • の代わりに非線形関数を用いてもモデル化できる
    • これは基底関数拡張(basis function expansion)と呼ばれる
    • 簡単な例として多項式基底

Maximum likelihood estimation (least squares)

    • 一般にMLEを計算することでパラメータを推定する
    • 訓練データはi.i.d.と仮定しているので対数尤度は
    • 対数尤度最大化は負の対数尤度最小化であり,
    • ここで,RSSはresidual sum of squaresを意味し,
    • これをNで割るとmean squared error (MSE)となるので,これを最小にするため最小二乗誤差を呼ばれる

Robust linear regression

    • 以上のように,ガウス分布を用いて回帰モデルの誤差を表現するのが一般的
    • そのときMLEは二乗誤差
    • しかし,データに外れ値があるとき,フィッティングが悪くなる
    • その理由として二乗誤差は二次式のペナルティなので,回帰直線から離れた点は近い点よりも大きな影響を与えるからである
    • 外れ値に対するロバスト性を達成する方法としてガウス分布の代わりに裾の広い分布(たとえばラプラス分布)を用いる
    • ラプラス分布を用いると尤度は
    • 簡単のためbを固定するとの代わりにを用いている
    • NLLは
    • これは非線形目的関数なので最適化は結構難しいため,split variable trickを用いる
    • s.t.
    • これはLPで解ける
    • 別の方法としてHuber loss関数を最小化(Huber 1964)
    • これはより誤差が小さいときと等価であり,大きいときはと等価
    • このロス関数のメリットはどこでも微分可能

Ridge regression

    • 最尤推定の課題はoverfitすること
    • ガウス事前分布によるMAP推定を用いることでこの問題を改善する
  • Basic idea
    • は事前分布の強さ
    • MAP推定問題は
    • 第一項はMLE,第二項は二乗ノルムのペナルティ項
    • これがリッジ回帰 or penalized least squaresと呼ばれる
  • Numerically stable computation
    • のリッジ回帰はの回帰より統計的性質が良いだけでなく,数値計算上も良い性質がある
  • Connection with PCA
    • リッジ回帰とPCAの興味深い関係
    • PCAの章を読んでから戻ってこよう
  • Regularization effects of big data

Bayesian linear regression

    • リッジ回帰は点推定するにはいいけど,の完全な事後分布を知りたいこともあるのでベイズ推定しよう
  • Computing the posterior
    • Fig 7.11 「あっ!この図,PRMLでやったやつだ!!!」
  • Computing the posterior predictive
  • Bayesian inference when is unknown

コメント

日常業務でピキピキしながらも隙間時間と夜中にMLaPPを読む日々.多くの業種でもそうだと思いますが,年末〜年度末はいろいろ嫌なことがおおいものです….