この記事では, 目的関数が-smoothな非凸最適化問題に対して,標準的な勾配降下法が -停留点を得るまでの反復計算量が になることを, できるだけ直感的にわかるように説明します. (-smooth,-停留点,反復計算量などの定義は後述.) (*最適化手法の収束解析の流れを理解することは最適化の理論研究をする際に非常に重要な知識であるにも関わらず,現時点で直感的な説明を含めた日本語の文献や記事が少ないと思ったため,記事にしました.特に非凸最適化問題に対する勾配降下法の収束解析は使う仮定や道具が少なく理解がしやすいため,初学者が収束解析を学ぶ対象として適していると思います.) この内容は[1]に…