非線形最適化

１．はじめに ２．最急降下法とは 2.1 最急降下法の概要 2.2 正確な直線探索を用いた最急降下法 2.3 最急降下法と機械学習 ３．最急降下法の一次収束性の証明 4．参考文献 １．はじめに 数理最適化の非線形最適化の分野で最初に出てくることが多い最急降下法ですが，その収束性の証明が入門の教科書では省略されることが多いようです．自分の勉強していた本でも省略されていたのですが，大学の教授に証明が載っている本を紹介してもらい，証明を読みました．その内容をあらためて自分でまとめようと思います．また，機械学習についても興味があるので関連性を整理して書けたらな，と思います． ２．最急降下法とは 2.1…