はじめに PyTorchのチュートリアルの「0.PyTorch入門 6.最適化」に、Negative Log Likelihood（以下、NLL）という損失関数が紹介されていました。私はこの損失関数を知らなかったので、調査してみました。その結果、NLLはKullback Leibler距離（以下、KL距離）、およびCross Entropy（以下、CE）と関連がある損失関数とわかりました。本記事では、NLLとKL距離、CEの関係についてまとめようと思います。 Kullback Leibler距離 定義 まず、KL距離を定義します。データがしたがう真の分布の確率関数を、を推定するためのモデルの確…
