損失関数

59ブックマーク機械学習の分類の話を損失関数と決定境界を中心に整理してみた - once upon a time,

chezou.hatenablog.com

32ブックマーク不均衡データを損失関数で攻略してみる - Qiita

32ブックマーク機械学習で抑えておくべき損失関数（回帰編） - HELLO CYBERNETICS

s0sem0y.hatenablog.com

15ブックマーク Pytorchの損失関数(Loss Function)の使い方および実装まとめ - Qiita

13ブックマーク損失関数はそれほど複雑な関数ではないのかも？と言う話 - Obey Your MATHEMATICS.前回の記事 mathetake.hatenablog.com にある論文(2-2-9)[1605.07110] Deep Learning without Poor Local Minimaについてのお話です*1。 Abstractを読んだ瞬間に、こんな重要な論文をどうして今まで知らなかったのかと言うぐらい興奮しました。少し長いですが引用しますと In this paper, we prove a conjecture publis...

mathetake.hatenablog.com

11ブックマーク回転(ロール・ピッチ・ヨー、オイラー、クォータニオン)にまつわる数式、損失関数を全展開で総整理 (Unity & Maximaコード付き) - Qiita

11ブックマーク機械学習で抑えておくべき損失関数（分類編） - HELLO CYBERNETICS

s0sem0y.hatenablog.com

11ブックマーク損失関数について、ざっくりと考える - Qiita

関連ブログ

#深層学習#損失関数#クロスエントロピー#バイナリクロスエントロピー

Cross-Entropy LossとBinary Cross-Entropy Lossの式と違いについて（クラス分類）

今回はCross-Entropy（クロスエントロピー）とBinary Cross-Entropy （バイナリクロスエントロピー）について書きます。クロスエントロピーは、分類タスクでよく用いられる損失関数ですね。一般的にクロスエントロピーの式といえば、下図第二辺ですが、特に２クラス分類の場合は第三辺のように表すこともできます。第二辺と第三辺の意味についてクラス分類の具体例を交えながら考えていきます。クロスエントロピー誤差（交差エントロピー - Wikipedia より） 1. 多クラス分類の場合（例として３クラス分類）例として、画像を入力して、それが犬、猫、ウサギのどれかを分類する深層学習…

mao9o9の技術メモ•3年前

SGDについて

はじめに SGD(Stochastic gradient decession)について、設定した目的関数に対してどのようにパラメータを更新しているのかシミュレーションを行い調べた。実装環境 Google Colaboratory ついでにPytorchでのSGDの挙動を調べるためPytorch版とnumpy版を作成して、ステップの更新を調べた。 github.com SGD SGDは目的関数を最小化する手法。の導関数を求め、入力の勾配に応じて更新する度合を設定する。モーメントを使用しない時、 momentumを使用するとき、 momentumを使用かつnestrovを適用する時、結果パ…

#SGD#損失関数

セマンティックセグメンテーションで利用されるloss関数（損失関数）について⑥

本記事は連載６回目になります。１回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について① - knowwell-livewellの日記２回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について② - knowwell-livewellの日記３回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について③ - knowwell-livewellの日記４回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について④ - knowwell-livewellの日記５回目：セマンティックセグメンテ…

セマンティックセグメンテーションで利用されるloss関数（損失関数）について⑤

本記事は連載5回目になります。１回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について① - knowwell-livewellの日記２回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について② - knowwell-livewellの日記３回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について③ - knowwell-livewellの日記４回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について④ - knowwell-livewellの日記 https://github.c…

セマンティックセグメンテーションで利用されるloss関数（損失関数）について④

本記事は連載4回目になります。１回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について① - knowwell-livewellの日記２回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について② - knowwell-livewellの日記３回目：セマンティックセグメンテーションで利用されるloss関数（損失関数）について③ - knowwell-livewellの日記 https://github.com/JunMa11/SegLossより引用今回はBoundary-based LossのHD Lossについて紹介します。 ⑦Hau…

セマンティックセグメンテーションで利用されるloss関数（損失関数）について③

前々回、前回の続きになります。前々回：セマンティックセグメンテーションで利用されるloss関数（損失関数）について① - knowwell-livewellの日記前回：セマンティックセグメンテーションで利用されるloss関数（損失関数）について② - knowwell-livewellの日記 https://github.com/JunMa11/SegLossより引用今回はRegion-based Lossの続きで、Tversky Loss、FocalTversky Lossについて紹介していきたいと思います。 ⑤Tversky Loss Tversky Lossは前回紹介したDice L…

セマンティックセグメンテーションで利用されるloss関数（損失関数）について②

前回の続きになります。前回：セマンティックセグメンテーションで利用されるloss関数（損失関数）について① - knowwell-livewellの日記 https://github.com/JunMa11/SegLossより引用今回はRegion-based Lossにカテゴリー分けされているDice LossとIoU Loss、Tversky Loss、FocalTversky Lossについて紹介していきたいと思います。 ③Dice Loss この損失関数も②Focal Lossと同じく「クラス不均衡なデータに対しても学習がうまく進むように」という意図があります*1。①Cross En…

セマンティックセグメンテーションで利用されるloss関数（損失関数）について①

今回はセマンティックセグメンテーション（領域推定）のタスクでよく利用されるloss関数をまとめます（あまり利用されていないものも含めます）。 1. セマンティックセグメンテーションとは？セマンティックセグメンテーションは画像中の対象物体の領域を推定するタスクで、畳み込みニューラルネットワーク（CNN）を活用することで精度良く推定できるようになったタスクの一つです。このタスクにおける代表的なCNNモデルは、FCN、SegNet、U-Net、PSPNet、DeepLab familyなどがあります。一般的なセマンティックセグメンテーションタスクにおいて、現状のデファクトスタンダード（まずはこれ…