観測データの尤度を最大化するように、確率モデルのパラメータを推定すること。
要旨 変分推論について勉強し直す。 問題設定 を潜在変数として持つ確率分布からが観測されました。さて、潜在変数はいくらであったと考えられますか？ 頻度主義者の考え方-最尤推定 頻度主義とは、確率を「ある事象が何回中何回起きるか」、つまり、その事象が生起する頻度と解釈する考え方である。 赤玉と白玉が混ぜて入れられている箱があって、その箱から1個の玉を取り出して色を確認し、また戻すという操作を行うとする。「赤玉を取り出す確率は0.6である」という主張は、この操作を無限回繰り返した時、5回中3回の頻度で赤玉が取り出されることを意味している。 また、頻度主義では、推定したい潜在変数は固定されている(確…
はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事では、カテゴリモデルに対する最尤推定をR言語でスクラッチ実装します。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 2.3 ユニグラムモデルの最尤推定の実装 文書データの簡易生成 パラメータの推定 推定結果の可視化 分布の図 推定への影響の可視化 データ数の影響 参考書籍 おわりに 2.3 ユニグラムモデル…
「接触8割減」の問題をまとめた論考はこちらに。 https://sarkov28.hatenablog.com/entry/2024/05/17/213470 西浦氏の Scientific Reports 論文について（７）「ワクチンで感染者が９割減」は誤り はこちらに。 https://sarkov28.hatenablog.com/entry/2024/12/17/184600 私がネット上でしていることの まとめ は、こちらに。 https://sarkov28.hatenablog.com/entry/2022/03/29/160915 目次 （１）序論 （２）西浦論文の補足情報 T…
「接触8割減」の問題をまとめた論考はこちらに。 https://sarkov28.hatenablog.com/entry/2024/05/17/213470 西浦氏の Scientific Reports 論文について（７）「ワクチンで感染者が９割減」は誤り はこちらに。 https://sarkov28.hatenablog.com/entry/2024/12/17/184600 私がネット上でしていることの まとめ は、こちらに。 https://sarkov28.hatenablog.com/entry/2022/03/29/160915 目次 （１）序論 （２）活動度と報告率の関係 …
「接触8割減」の問題をまとめた論考はこちらに。 https://sarkov28.hatenablog.com/entry/2024/05/17/213470 西浦氏の Scientific Reports 論文について（７）「ワクチンで感染者が９割減」は誤り はこちらに。 https://sarkov28.hatenablog.com/entry/2024/12/17/184600 私がネット上でしていることの まとめ は、こちらに。 https://sarkov28.hatenablog.com/entry/2022/03/29/160915 目次 （１）序論 （２）西浦論文の式(3)には…
最尤推定法の復習 最尤推定法は、データに確率モデルを当てはめるときに必要になるパラメータを、データから推定する方法です。 私の場合、大学の教養課程で習ったものの在学中に使う機会はなく、就職してからも使う機会なく時間が流れ、40歳を目前としたころ急に必要になりました。習っていても使わぬまま20年過ぎてしまうと、覚えているはずもなく、Rではライブラリで処理できたことから、あいまいな知識のまま、今に至っている方法です。 私にとって最尤推定法を理解できない原因ははっきりしていて、常套句のように出てくる「観測されたデータをもっとも起こりやすい」という表現です。これがしっくりこない。白黒つかない印象がダメ…
尤度推定のお勉強 【目次】 尤度と最尤推定量 尤度と確率 簡単な図解 参考 尤度と最尤推定量 最尤推定法は、標本から母集団のパラメータを点推定する方法（母集団の分布は既知）。 得られた標本を （独立同一分布に従う）、推定したいパラメータを とすると、尤度関数は次と表される。 また、自然対数をとったものを対数尤度という。確率の足し算となり、値が小さくならないため計算機で扱いやすい。 この尤度関数を最大化するパラメータ を最尤推定量と呼ぶ。 なお、最小化問題などでは、対数尤度にマイナスを乗じて 0 を最小値とした負の対数尤度を用いることがある。 尤度と確率 尤度と確率では分布パラメータθと得られる…
この3つはどれも確率分布やモデルのパラメータをデータから推定する手法だ（確率分布は正規分布やポアソン分布などの一変数の確率を返すもの、モデルはGLMのような複数の変数の合成によって被説明変数の確率モデルのパラメータを規定するもの）。しつこいが、パラメータ自体の確率分布やモデルは研究者がアプリオリに決めるもので、「仮定」だ。 ・OLS 最小二乗法（OLS）とは、実際のデータの値とモデルによって予測される値の差（誤差）を最小化するように、モデルのパラメータを点推定する方法である。回帰分析であれば、データから偏回帰係数の推定値が算出されるが、偏回帰係数の値と標準誤差があればt値が求まり、t値がt分布…
尤度 確率で成功するフリースローを投して回成功する確率は、二項分布よりとなります。データを定数として、母数を変数として計算した値を尤度といいます。 またその関数を尤度関数といいます。 最尤推定 最尤推定法では尤度が最も大きくなったときの変数の値を母数の推定として利用します。をについて最大化してみます。に対数をとります。を対数尤度関数といいます。 をで微分してとおきます。は二項分布の平均と一致します。最後に、確率で成功するフリースローを10投して4回成功する尤度と対数尤度のグラフを示します。 どちらも付近で最大値をとることがグラフから読み取れます。 偉人の名言 あらゆる偉業の出発点は、 目的を明…
はじめに 『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。 本の補助として読んでください。 この記事では、カテゴリモデルに対する最尤推定の数式の行間を埋めます。 【前節の内容】 www.anarchive-beta.com 【他の節の内容】 www.anarchive-beta.com 【この節の内容】 はじめに 2.3 ユニグラムモデルの最尤推定の導出 最尤解の計算式の導出 参考書籍 おわりに 2.3 ユニグラムモデルの最尤推定の導出 ユニグラムモデル(unigram model)に対する最尤推定(maxim…
qiita.com
aidiary.hatenablog.com
ja.wikipedia.org
www.slideshare.net
hoxo-m.hatenablog.com
norimune.net
yamitzky.hatenablog.com
techtipshoge.blogspot.com
tkengo.github.io
