はじめに SGD(Stochastic gradient decession)について、設定した目的関数に対してどのようにパラメータを更新しているのかシミュレーションを行い調べた。 実装環境 Google Colaboratory ついでにPytorchでのSGDの挙動を調べるためPytorch版とnumpy版を作成して、ステップの更新を調べた。 github.com SGD SGDは目的関数を最小化する手法。の導関数を求め、入力の勾配に応じて更新する度合を設定する。 モーメントを使用しない時、 momentumを使用するとき、 momentumを使用かつnestrovを適用する時、 結果 パ…