非線形最小二乗問題を解く上で、 1次近似を使う最急降下法 2次近似を使うニュートン法 ニュートン法のヘッセ行列をヤコビ行列の積で近似するガウスニュートン法 ガウスニュートン法と最急降下法を上手く混ぜるLevenberg-Marquardt法 と整理できて、これらを実装してみる。 サンプルの関数としてお馴染みのRosenbrock functionを使う。 (1, 1)のところに極小値が存在する。 これに対してPyhtonで各種最適化手法を実装した。Line Searchなどは使わず、Levenberg-Marquardt法でもλの混合具合の調整などはせず、かなりシンプルに関係を把握する目的のコ…