このタグの解説について
この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。関連ブログ
深層学習の最適化アルゴリズム(cousera Deep Learning 専門講座 Course2 / week2)
week2のテーマと内容 テーマ 内容 ミニバッチ勾配降下法 モーメンタム法 RMSprop Adam まとめ week2のテーマと内容 テーマ 複数の最適化アルゴリズムについて知ろう！ です。主に以下について書きます。 ミニバッチ勾配降下法 モーメンタム法 RMSprop Adam 内容 これまでの講座では、最急降下法を使ってパラメーターを更新してきました。最急降下法は、別名バッチ勾配降下法とも言われています。バッチ勾配降下法は、関数の傾きに着目して損失関数の最小値を求める方法ですが、全てのデータを使用するため計算量が大きく、また傾きが0になれば学習終了とみなせることから、局所的最小値に陥っ…
ネットで話題
もっと見る
qiita.com
sinhrks.hatenablog.com
qiita.com
www.slideshare.net
kisa12012.hatenadiary.org
blog.yusugomori.com
shuyo.hatenablog.com
qiita.com
fujimizu.hatenablog.com関連ブログ
SGDを使うにあたってのハイパーパラメータの設定(論文紹介③ Control Batch Size and Learning Rate to Generalize Well: Theoretical and Empirical Evidence)
概要 深層学習において、確率的勾配降下法(SGD)はOptimizerとして良い結果を出しており、SGDをより良く動かすためにハイパーパラメータの調整が必要。複数あるハイパーパラメータのうち、特にバッチサイズ(Batch Size)と学習率(Learning Rate)に着目し、どのように設定すべきかを解析的に考えた論文。数値解析の結果、バッチサイズの大きさSと学習率ηの比S/ηが小さいほどより良い結果となる。 papers.nips.cc 予測損失と経験損失 本来最小化したい損失は予測損失である。 しかし、データの分布Dがわからないため予測損失と近似することのできる経験損失を用意する。 でき…
誤差逆伝播法と勾配消失問題について解説！
U-Netの論文を読破してみて U-Netの論文をざっと読んで、以下のブログを眺めていました。 ブログ読む方が楽だなーwww.acceluniverse.com CNNの背景 順伝播型ネットワークについて分かりやすく説明したブログです。 NNの基礎が書かれています。melheaven.hatenadiary.jp一般的に画像処理の際によく適用されるCNN(Convolutional Neural Network)。 これまで説明した通り、順伝播ネットワーク・誤差逆伝播法・確率的勾配降下法の考え方は継承しています。 詳しくは今後まとめようと考えていますが、画像認識に特化させるように 中間層におい…
確率的勾配降下法について解説！
そもそも勾配降下法って何？ ここでは数式を使って難しい話をしません。 Texを使うのが怠いし、説明しても分かりにくいからです。前回、順伝播型ネットワークを解説した際に誤差関数について説明したと思います。melheaven.hatenadiary.jp学習では誤差関数E(w)の値を最小化させるため、重みパラメータWを更新するわけです。Q. ではどのようにして誤差関数を最小化させるのか。 A. 誤差関数Eの極小となる重みwをひたすら探します。極小値の重みwを探すには、誤差関数を微分して勾配が負となる方向へ重みパラメータWを動かし続けます。これが勾配降下法です！ちなみに重みWの更新料の大きさを学習係…
1.4：ニューラルネットワークで問題を解く【ゼロつく2のノート(実装)】
はじめに 『ゼロから作るDeep Learning 2――自然言語処理編』の初学者向け【実装】攻略ノートです。『ゼロつく2』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 本の内容を1つずつ確認しながらゆっくりと組んでいきます。 この記事は、1.4節「ニューラルネットワークで問題を解く」の内容です。2層のニューラルネットワークをPythonで実装して、学習と分類を行います。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 1.4.1 スパイラル・データセット 1.…
7.5：CNNの実装【ゼロつく1のノート(実装)】
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、7.5節「CNNの実装」の内容になります。畳み込みニューラルネットワークをPythonで実装し、MNISTデータセットで学習します。 【前節の内容】 https://www.anarchive-beta.com/entry/2020/08/25/180000www.anarchive…
6.5：ハイパーパラメータの検証【ゼロつく1のノート(実装)】
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、6.5節「ハイパーパラメータの検証」の内容になります。ハイパーパラメータの最適化をPythonで試します。 【前節の内容】 https://www.anarchive-beta.com/entry/2020/08/19/180000www.anarchive-beta.com 【他の…
6.4.3：Dropout【ゼロつく1のノート(実装)】
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、6.4.3項「Dropout」の内容になります。ランダムにニューロンを消去するDropoutを説明し、Pythonで実装します。 【前節の内容】 https://www.anarchive-beta.com/entry/2020/08/18/180000www.anarchive-b…
6.4.1-2：Weight decay【ゼロつく1のノート(実装)】
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、6.4.2項「Weight decay」の内容になります。大きな重みを持つことにペナルティを課すWeight decay(荷重減衰)を説明します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の…
6.3：Batch Normalization【ゼロつく1のノート(実装)】
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、6.3節「Batch Normalization」の内容になります。出力データを正規化することで広がりのある分布に調整するBatch Normalizationを説明し、Pythonで実装します。また最後に、MNISTデータセットに対する認識精度の変化を確認します。 【前節の内容】 …
ディープラーニング(Deep Learning)の歴史を振り返る
先日Quora日本語版でこんな回答を書いたのですが、ついでなので少し文脈情報を付け足してブログの方に再録することにしました。理由は単純で、このブログでディープラーニングの歴史についてまとめた記事を今まで書いてきたことがなく、そしてブログ記事にした方がより認識違いや調査不足などについての指摘をもらいやすいと思われたからです。ということで、以下の説明に関してツッコミがあれば是非コメント欄などにお寄せくださいm(_ _)m (A Neural Network Playground)ディープラーニングを語る上で、その前史であるパーセプトロン、そして（人工）ニューラルネットワークの話題は欠かせません。以…
6.2：重みの初期値【ゼロつく1のノート(実装)】
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、6.2節「重みの初期値」の内容になります。使用する活性化関数と重みの初期値の設定の出力データへの影響をPythonを使って確認します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじ…
L-BFGS法(記憶制限BFGS法)の実装
ちょこちょこ使用していますが半年使わないと忘れてしまうので備忘録的にきっちりまとめておきます。 はじめに L-BFGS法の導出 L-BFGS法の実装 計算例 scipy.optimize.fmin_l_bfgs_bとの比較 メモ CG法との比較 考察とまとめ Github はじめに 非線形問題の最適化に最もよく使用されるL-BFGS法(記憶制限BFGS法、BFGS法は準ニュートン法の解法の一つ)について書きます。準ニュートン法なので勾配法ですね。 ディープラーニングでは確率的勾配降下法（力技!!）が使用されますが、最適化問題やディープラーニング以外の機械学習でもL-BFGS法はよく使われていま…
6.1.8：MNISTデータセットによる更新手法の比較【ゼロつく1のノート(実装)】
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、6.1.8項「MNISTデータセットによる更新手法の比較」の内容になります。MNISTデータセットに対して、6.1節で実装した5つの最適化手法を用いて学習を行い、学習の精度を比較します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anar…
6.1.6：Adam【ゼロつく1のノート(実装)】
はじめに 「プログラミング」学習初手『ゼロから作るDeep Learning』民のための実装攻略ノートです。『ゼロつく1』学習の補助となるように適宜解説を加えています。本と一緒に読んでください。 関数やクラスとして実装される処理の塊を細かく分解して、1つずつ処理を確認しながらゆっくりと組んでいきます。 この記事は、6.1.6項「Adam」を繋ぐための内容になります。Adamを説明し、Pythonで実装します。またその学習過程を確認します。 【前節の内容】 https://www.anarchive-beta.com/entry/2020/08/12/180000www.anarchive-be…
