最急降下法

(サイエンス)

【さいきゅうこうかほう】

Steepest descent method。関数の最小値を求める最適化問題のアルゴリズムの一つ。単純に関数の勾配方向に降りていく。

$w(t+1) = w(t) - \alpha \frac{\partial E}{\partial w}$

また、以下のように、パラメータを時間的に減衰させることもできる。
$w(t+1) = w(t) - \alpha \frac{1}{\beta t + 1} \frac{\partial E}{\partial w}$

問題点

解の探索能力には問題点も多い。例えば、 $y = x^2$ の最小値探索において、 $\alpha > 1$ の場合、どんどん悪い解へと向かってしまう。

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

かわうそ日記•6日前

最急降下法の基礎，その一次収束性の証明

１．はじめに２．最急降下法とは 2.1 最急降下法の概要 2.2 正確な直線探索を用いた最急降下法 2.3 最急降下法と機械学習３．最急降下法の一次収束性の証明 4．参考文献１．はじめに数理最適化の非線形最適化の分野で最初に出てくることが多い最急降下法ですが，その収束性の証明が入門の教科書では省略されることが多いようです．自分の勉強していた本でも省略されていたのですが，大学の教授に証明が載っている本を紹介してもらい，証明を読みました．その内容をあらためて自分でまとめようと思います．また，機械学習についても興味があるので関連性を整理して書けたらな，と思います．２．最急降下法とは 2.1…

#最急降下法#機械学習#非線形最適化#最適化手法#AI#人工知能#ニューラルネットワーク#確率的最急降下法#ミニバッチ最急降下法

関連ブログ

ITエンジニアノイのブログ•2年前

最急降下法

最急降下法とは最急降下法（Steepest Descent Method）は、最適化アルゴリズムの一種であり、特に連続関数の最小値を見つけるために使用されます。最急降下法は、与えられた関数の勾配（または導関数）の逆方向に進みながら、関数の最小値に近づくことを目指します。最急降下法による最小値の算出最急降下法の手順関数を定義します。初期値を設定します。これは、最急降下法が最小値の近くから探索を開始する場所です。勾配ベクトル（または導関数）を計算します。勾配は、関数が最も急な上昇方向を示すベクトルです。勾配の逆方向に移動します。これにより、関数の値が減少します。アルゴリズムが収束す…

#機械学習#最急降下法#勾配法

機械学習基礎理論独習•4年前

ソフトマージンの双対問題を最急降下法で解く

勾配ベクトルを求めるソフトマージンの双対問題は以下でした。制約条件のみに着目して、目的関数にラグランジュの未定乗数法を適用します。式をで微分します。式をで微分します。アルゴリズム 1: を初期化します。と設定します。を設定します。2: すべてのに対して次の式でを更新します。式を見るとを成分ごとに更新しているようにみえるが、"すべてのに対して" 更新しているので、を一気に更新している。3: すべてのに対して、もしならば、ならばとします。4: 次の式でを更新します。※式のの中身はステップ2,3で更新されたであることに注意しましょう。5: 収束していた…

#サポートベクトルマシン#ソフトマージン#最急降下法