スマートフォン用の表示で見る

最急降下法

サイエンス

最急降下法

さいきゅうこうかほう

Steepest descent method。関数の最小値を求める最適化問題アルゴリズムの一つ。単純に関数の勾配方向に降りていく。

w(t+1) = w(t) - ¥alpha ¥frac{¥partial E}{¥partial w}

また、以下のように、パラメータを時間的に減衰させることもできる。

w(t+1) = w(t) - ¥alpha ¥frac{1}{¥beta t + 1} ¥frac{¥partial E}{¥partial w}

問題点

解の探索能力には問題点も多い。例えば、y = x^2 の最小値探索において、¥alpha > 1の場合、どんどん悪い解へと向かってしまう。