正則化

このタグでブログを書く

言葉の解説

ネットで話題

正則化

(サイエンス)

【せいそくか】

Regularization。統計や機械学習において、過学習を抑止する。Tikhonov正則化やLASSO(Least Absolute Selection and Shrinkage Operator)など。Tikhonov正則化はパラメータが0を中心に正規分布しているという学習前の事前確率を意味する。

wをパラメータとすると、以下の式を誤差関数に加える。

Tikhonov正則化（L2正則化）: $\frac{\lambda}{2} w^2$
LASSO（L1正則化）: $\lambda |w|$

Tikhonov正則化はパラメータが0に近づくだけであるが、LASSOはパラメータが0になりやすいという効果がある。

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

bob3’s blog•2年前

正則化項付き線形回帰は真の偏回帰係数を推定しているのか？

最近、正則化項付き線形回帰についてちょっと調べてます。それで以下の記事が気になりました。qiita.comdropout009.hatenablog.comどちらも人工データを用いて、真の偏回帰係数を正則化項付き線形回帰で推定できるか？というシミュレーションをされています。これは非常に興味深いので自分でもやってみようと思います。先の記事はどちらもPythonを使われてましたが、私はR言語でやってみます。試すのは以下の5つの手法です。線形回帰 Ridge回帰 LASSO回帰適応的LASSO回帰 Elastic net回帰確認したいのは真の偏回帰係数に対する推定された偏回帰係数の分布で…

#R言語#正則化#データサイエンス#機械学習

ネットで話題

114ブックマーク統計的学習理論と正則化に関するちょっと数理的な基礎 - 横須賀の某Prisonで働く研究者？のブログ

setten-qb.hatenablog.com

52ブックマーク RでL1 / L2正則化を実践する - 渋谷駅前で働くデータサイエンティストのブログ

tjo.hatenablog.com

46ブックマーク SVMにおける損失と正則化 - 射撃しつつ前転改

tkng.hatenablog.com

38ブックマーク任意の学習率の式に対する効率的なL1正則化の計算方法 : Preferred Research

tech.preferred.jp

37ブックマーク Dropoutの実装と重みの正則化 - もちもちしている

olanleed.hatenablog.com

30ブックマーク L1正則化で重みが0につぶれる理由

blog.unnono.net

30ブックマーク回帰モデルにおけるL1正則化とL2正則化の効果 - old school magic 概要回帰モデルとは、与えられた入力を用いて目標変数を予測するモデルです。回帰モデルでは過学習を防ぐため、誤差関数(二乗誤差関数など)に次の式で表される正則化項を加えて最小化します。この形の正則化項を用いる回帰をブリッジ回帰と呼びます。特にの時をLasso回帰、の時をRidge回帰と呼びます。また、それぞ...

breakbee.hatenablog.jp

29ブックマークわしの思うリッジ回帰(L2正則化)と正則化法。 - Pseudo Theory of Everything

pseudo-theory-of-everything.hatenablog.com

28ブックマーク正則化つき線形モデル(「入門機械学習第6章」より)

www.slideshare.net

関連ブログ

Goodな生活•4年前

【統計検定準1級】線形回帰モデルと正則化

線形回帰モデルの問題点過学習を避けるための方法変数増減縮小推定次元削減正則化 L1(Lasso)正則化とL2(Ridge)正則化 Elastic Net推定参考 2022/08/27 統計検定準1級の学習時に内容修正線形回帰モデルの問題点回帰モデルの説明変数の数が大きくなりすぎると、モデルが学習データに過度に適合する過学習*1が生じ、予測精度が下がることがある。また被説明変数と関係のない多くの説明変数がモデルに組み込まれることで、推定する係数に対する解釈が困難になる場合がある。非線形回帰の場合はを変数変換した基底関数を用いて同様の事項を説明できる。過学習を避けるための方法変…

#統計検定#統計検定準1級#正則化