Hatena Blog Tags
はてなブログ トップ
SGD
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

SGD

(社会)
【しんがぽーるだらー】
このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
mao9o9の技術メモ•3年前

SGDについて

はじめに SGD(Stochastic gradient decession)について、設定した目的関数に対してどのようにパラメータを更新しているのかシミュレーションを行い調べた。 実装環境 Google Colaboratory ついでにPytorchでのSGDの挙動を調べるためPytorch版とnumpy版を作成して、ステップの更新を調べた。 github.com SGD SGDは目的関数を最小化する手法。の導関数を求め、入力の勾配に応じて更新する度合を設定する。 モーメントを使用しない時、 momentumを使用するとき、 momentumを使用かつnestrovを適用する時、 結果 パ…

#SGD#損失関数

ネットで話題

もっと見る
161ブックマークさく on Twitter: "南大阪で老人会400人が参加して仕込み無しで予防接種訓練を行った結果 https://t.co/EZ19Kh0sGD"twitter.com
121ブックマークたった1枚の写真から高解像度の3DCGモデルをAIで生成できる「Human-SGD」が発表されるgigazine.net
47ブックマークSGD+α: 確率的勾配降下法の現在と未来www.slideshare.net
29ブックマークprojects:sgd [leon.bottou.org]Learning algorithms based on Stochastic Gradient approximations are known for their poor performance on optimization tasks and their extremely good performance on machine learning tasks (Bottou and Bousquet, 2008). Despite these proven capabilities, there were lingering concerns about the difficu...leon.bottou.org
15ブックマークL1-SGDStochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty Yoshimasa Tsuruoka, Jun’ichi Tsujii and Sophia Ananiadou, ACL2009. 論文紹介．鶴岡さんのL1正則化付き確率的勾配降下法（Stochastic Gradient Descent，SGD）．L1正則化はコンパクトなモデルパラメタになってく...blog.unnono.net
15ブックマークperlでSGD版SVMを書いてみた - EchizenBlog-Zweiechizen-tm.hatenadiary.org
14ブックマーク最適化手法について—SGDからYellowFinまで— | moskomule logはじめに 前回の記事に，「ベンチマーク函数があるよ」というフィードバックを頂きました．test functions for optimizationというWikipediaの記事にまとまっていたので，今回はこちらにあるRosenbrock function($f_{R}=100(y-x^2)^2+(x-1)^2$,大域解$f_{R}(1,1)=0$)を使います．Rosenbrock函数には大域解を含む広い濠が...mosko.tokyo
13ブックマークYellowFin: An automatic tuner for momentum SGDYellowFin and the Art of Momentum Tuning by Jian Zhang, Ioannis Mitliagkas and Chris Ré. TLDR; Hand-tuned momentum SGD is competitive with state-of-the-art adaptive methods, like Adam. We introduce YellowFin, an automatic tuner for the hyperparameters of momentum SGD. YellowFin trains large ResNe...cs.stanford.edu
11ブックマーク確率的勾配降下法を最適化に使える{sgd}パッケージを一通り試してみる - 渋谷駅前で働くデータサイエンティストのブログtjo.hatenablog.com

関連ブログ