正則化

Regularization。統計や機械学習において、過学習を抑止する。Tikhonov正則化やLASSO(Least Absolute Selection and Shrinkage Operator)など。Tikhonov正則化はパラメータが0を中心に正規分布しているという学習前の事前確率を意味する。

wをパラメータとすると、以下の式を誤差関数に加える。

Tikhonov正則化（L2正則化）

LASSO（L1正則化）

Tikhonov正則化はパラメータが0に近づくだけであるが、LASSOはパラメータが0になりやすいという効果がある。