確率的勾配降下法

モチベーション: 変わった学校の定期テスト ある学校では期末ごとに定期テストが開催されています。生徒は同じタイミングで同じ問題を解きます。この試験の結果から生徒の能力値を推定してほしいと依頼があったとしましょう。この場合すべての生徒は同じ問題を解いていますから、単純に問題の正解率を見たので十分でしょう。 ただ、この学校は大変に変な学校で、生徒ごとにランダムに違う問題が与えられているとするとしましょう。すると、正答率だけを見ているとたまたまかんたんな問題を与えられた生徒と、すごく優秀だけどめちゃくちゃ難しい問題ばかり与えられた生徒との区別ができませんから、おそらく不満が出てくるに違いないです。 …

お気付きの点がありましたらご指摘いただけますと幸いです。 Overfitting - Wikipedia（2022年6月20日参照）. model selection - Why isn't Akaike information criterion used more in machine learning? - Cross Validated（2022年6月20日参照）. Can the BIC be used in neural nets despite its large no. of parameters? - Cross Validated（2022年6月20日参照）. How to…

本稿では翻訳モデルを作成するにあたり必須な自然言語の事前処理について整理します。 用語集 コーパス (Corpus) コーパスとは "言語学において、自然言語処理の研究に用いるため、自然言語の文章を構造化し大規模に集積したもの" 「コーパス」（2022年6月2日 (日) 11:34 UTCの版）『ウィキペディア日本語版』。 ということで大量のテキストデータです。翻訳タスクに用いるものであれば同一の文意が複数の言語で書かれたテキストデータのcorpusを用います(パラレルコーパスとも呼ばれます)。またテキストだけでなく構文構造などの情報が付与されたものもあります。 (注: 本稿以降ではテキストの…

正規方程式による解法は、問題によっては最適な解を見つけることが出来ない上、データ数の増加とともに計算コストが急激に増える。 352.ie-yasu.com math-fun.net rikei-logistics.com おまけ 勾配降下法、最急降下法、確率的勾配降下法 全部説明できますか yaju3d.hatenablog.jp cloud-ace.jp 実際には、赤色の点線のような「距離」ではなく、次式で表されるような「平方根平均二乗誤差（ RMSE : Root Mean Squared Error ）」などの「二乗誤差」と呼ばれる値を最小化するようにパラメータを求めます。この二乗誤差を…

気になったことをメモ。 qiita.com 理由は、交差エントロピー誤差は確率的勾配降下法との相性が良いからです。確率的勾配降下法という手法は、大雑把に言えば、微分から傾きを求めて損失関数が小さくなる方向に進んでいくことで最適化を図る手法です。その際に、 自然対数log(x)log(x)を微分すると1/x1/x exexを微分しても積分してもexex という性質が計算式が複雑になるのを防ぎます。損失関数の最適化手法としては確率的勾配降下法が使われることが多く、そのため交差エントロピー誤差が使われる場面も多くなります。 cookie-box.hatenablog.com 交差エントロピーの利点は…

ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る (KS科学一般書)作者:ヤン・ルカン講談社Amazon 読んでいていワクワクドキドキしてモチベーションの上がる本でした。 機械学習やAIに携わる研究者やエンジニア、学生にもおすすめです。 分厚いですが読み始めるとあっという間で、面白くて止まることなく最後まで一気に読んでしまいました。 ただし、前半部分のニューラルネットワークの説明や発展のところは前提知識がないと何を言っているのかわからなくて読みずらいかもしれません。 細かいところは理解できなくても、後半のAI研究の現状と未来の部分は楽しめると思います。 幾度かのAI冬の時代を乗り…

matrix で検索したらこっちのmatrixの画像が出てきた あんまり大きな声では言えませんが、協調フィルタリングって実はあんまり理解してないんですよね… Matrix Factorizationなんて、全くわかっていませんし。 これを言うと、いろんな人にシバかれそうなので、今回はこの2つについてこっそり勉強していこうと思います…

どうも、カタミチです。 さて、今日も「最短コースでわかる ディープラーニングの数学」のひとり読書会、やっていきたいと思います。 今日も「発展編」。6節からですね。本書のひとり読書会も、いよいよラストスパートってことになりますかね。さぁ…いきましょう！ 11-6. 過学習対策 この節は、過学習についてです。G検定でも頻出の、学習データに過剰に適応してしまう…ってやつですね。 これに対する策の1つ目は、学習用データと検証用データを分けて、検証用データに対する精度が落ちてきたらそこで学習を打ち切る…ってやつで、別の本だと「early stopping」みたいなカッコイイ名前が付いていました。シンプル…

yhayato1320.hatenablog.com Index Index Fast R-CNN R-CNN の問題 ネットワークアーキテクチャ 物体領域候補の特徴量の計算 クラスの予測 BB の予測 学習方法 マルチタスク損失 / Multi Task Loss 物体認識の損失 BB の損失 最適化 参考 書籍 Fast R-CNN R-CNN の問題 R-CNN は、ネットワークの順伝播の計算を提案された物体領域ごとに行う必要があるため、 検出速度が遅いという問題点があった. yhayato1320.hatenablog.com そこで、1 回計算した特徴マップをすべての「提案された物体…

はじめに SGD(Stochastic gradient decession)について、設定した目的関数に対してどのようにパラメータを更新しているのかシミュレーションを行い調べた。 実装環境 Google Colaboratory ついでにPytorchでのSGDの挙動を調べるためPytorch版とnumpy版を作成して、ステップの更新を調べた。 github.com SGD SGDは目的関数を最小化する手法。の導関数を求め、入力の勾配に応じて更新する度合を設定する。 モーメントを使用しない時、 momentumを使用するとき、 momentumを使用かつnestrovを適用する時、 結果 パ…