RPROP

RPROP

(サイエンス)
あーるぴーあーるおーぴー

フィードフォワードニューラルネットワークの学習アルゴリズム。パラメータの最適化問題を解く。勾配法の一つ。ニューラルネットワーク用に開発されたが、汎用に使える勾配法。名称は、Resilient backpropagationの略。バッチ学習用のアルゴリズムであり、基本的にはオンライン学習には適さない。

開発者は同一名称で3つの異なるアルゴリズムを発表していることに注意。性能が異なる。Improving the Rprop Learning Algorithmの命名法に従うと、

RPROP+
一番最初に、A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithmにて発表された手法。
RPROP-
Advanced Supervised Learning in Multi-layer Perceptrons - From Backpropagation to Adaptive Learning Algorithmsにて発表された手法。RPROP+ からバックトラッキングが除かれている。
iRPROP-
Rprop - Description and Implementation Detailsにて発表された手法。現時刻から前のエポックにかけて偏微分の傾きが反転したときの扱いに変更が加わる。

この3つの中では、iRPROP- がアルゴリズムが単純であり、かつ、多くの場合で性能が一番良い。これ以外にも iRPROP+ などが提案されている。

新着ブログ: RPROP