ベイズ推定

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでの実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、10.1.3項の内容です。平均と精度が未知の1次元ガウス分布(正規分布)に対する変分推論(変分ベイズ)をR言語で実装します。 【数式読解編】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに ・Rで実装 ・真の分布の設定 ・観測データの生成 ・事前分布の設定 ・真の事後分布の計算 ・変分推論 …

はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでの実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、10.1.3項の内容です。平均と精度が未知の1次元ガウス分布(正規分布)に対する変分推論(変分ベイズ)を導出します。 【実装編】 www.anarchive-beta.com www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 10.1.3 一変数ガウス分布の変分推論 ・モデルの設定 ・平均パラ…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.4.4項の内容です。「観測モデルを多次元ガウス混合分布(多変量正規混合分布)」、「事前分布をガウス・ウィシャート分布とディリクレ分布」とするガウス混合モデルに対する崩壊型ギブスサンプリング(周辺化ギブスサンプリング)をPythonで実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.4.4項の内容です。「観測モデルを多次元ガウス混合分布(多変量正規混合分布)」、「事前分布をガウス・ウィシャート分布とディリクレ分布」とするガウス混合モデルに対する崩壊型ギブスサンプリング(周辺化ギブスサンプリング)をR言語で実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人には…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.3.4項の内容です。「観測モデルをポアソン混合分布」、「事前分布をガンマ分布とディリクレ分布」とするポアソン混合モデルに対する崩壊型ギブスサンプリング(周辺化ギブスサンプリング)をR言語で実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.3.3項の内容です。「観測モデルをポアソン混合分布」、「事前分布をガンマ分布とディリクレ分布」とするポアソン混合モデルに対する変分推論をPythonで実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.3.3項の内容です。「観測モデルをポアソン混合分布」、「事前分布をガンマ分布とディリクレ分布」とするポアソン混合モデルに対する変分推論をR言語で実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解…

こんばんは、チョコボール統計研究所です。 今夜はイチゴ味を2箱計測します。 こちらも更新してます → Chocolate Ball Viewer 計測結果 date best_before weight box_weight number factory shop angel net_weight mean_weight 2021-11-24 2022-06-01 30.133 4.751 15 小山工場 スーパー（さいたま市） なし 25.382 1.692 2021-11-24 2022-06-01 30.771 4.875 15 小山工場 スーパー（さいたま市） なし 25.896 1.…

要約 線形回帰問題における二乗誤差、及び、正規方程式の導出を行います。何気なく盲信している「回帰問題を解くときの目的関数は平均二乗誤差」という通説が、1)予測モデルの誤差は各観測データに対して独立に正規分布に従う、2)手持ちのデータセットのすべてのサンプルはある一つの分布から独立に生成されている、という２つの仮定の上に成立していることを説明します。 回帰モデルを構築するときに，なんとなくMSE最小化を目的関数と仮定（帰納バイアス）していませんか？なぜ，MSEを目的関数とすることが妥当なのか説明できますか？ 下記に答えが書いてありますので，ご一読ください． 線形回帰と二乗誤差 手持ちデータセット…

3週間ぶりにこのページを開いてキーボードに向かっているのが何だか久しぶりな気分です。 先日、統計検定を受けてきました。土日を使ってちょくちょく勉強していたのですが、頑張って勉強していたという程ではなく、いつも通り普通にライブや風俗には行ってました。ただライブの纏まった感想を書くことはしていなかったので、その時間は勉強に回っていたと思います。ブログの投稿が少し空いたのはそのせいです。試験の手応えはまぁ微妙でしたね。ポアソン分布の区間推定の問題は完答できたのですが、指数分布と一様分布の畳み込みは恐らく合っていない（定義通りに畳み込みしてる筈なのに密度関数の全区間積分が1にならなくて終わる）です。ベ…

こんばんは、チョコボール統計研究所です。 今夜はピーナッツ味を2箱計測します。 こちらも更新してます → Chocolate Ball Viewer 計測結果 date best_before weight box_weight number factory shop angel net_weight mean_weight 2021-11-16 2022-05-01 33.405 4.763 18 小山工場 スーパー（さいたま市） なし 28.642 1.591 2021-11-16 2022-06-01 33.346 4.753 17 小山工場 スーパー（さいたま市） なし 28.593 …

HTTF2022 お疲れさまでした。 結果としては、暫定41位(99717点)でした。 以下、コンテスト期間中の自分の考察メモです。 11/3 ぞい！ 問題を読んだ 以下の2つの問題に分けられそう 技能レベルを推測する問題 誰がどのタスクをやるか決める問題 11/4 実装開始 以下の3つの問題に分けて考えることにする 技能レベルを推測する問題 どの順番でタスクをやるか決める問題 誰がどのタスクをやるか決める問題 技能レベルを推測する問題 タスクを1個か2個ぐらいやらないと何も分からない 過去の履歴とできるだけ矛盾が生じないような技能レベルを求めたい AHC003でやったのと似ている 焼きなまし…

ＣＯＮＴＥＮＴＳ 投資関連本によく出てくる『ベイズ推定』ってなに？ 世界的投資家はみんな使っている!! ベイズ推定 『ベイズの展開公式』を株式投資に応用する。 確率をもとにポートフォリオを構築する。 まとめ 投資関連本によく出てくる『ベイズ推定』ってなに？ 世界的投資家はみんな使っている!! ❝確率でモノを考えるという初歩的ではあるがやや直感に反する技術を身に着けないと、人生という尻蹴とばし競争に片足で参加するはめになる。❞ 【チャーリー・マンガー(天才投資家)】 株式投資について学ぶ上で決して避けては通れないのが『確率の計算』です。 100％文系脳の私のような投資家には非常に高いハードルであ…

6人のカメラマンが描き出す同一人物 2015年にキャノン・オーストラリアが行なった大変興味深い実験がある。6人のカメラマンに対して、1人の同じ人物の写真を撮ってもらうように依頼する。事前にそれぞれのカメラマンには撮影される人物について異なった情報を与える。それぞれ「大金持ち」、「元アルコール依存症患者」、「超能力者」、「元犯罪者」、「ライフセーバー」、「漁師」である。そのような異なった事前の情報を得た各カメラマンはどのように撮影したか。その様子は下記のユーチューブで見ることができる。いずれのカメラマンも「それらしく」撮影している。 www.youtube.com 事前にその人が大金持ちと言われ…

こんばんは、チョコボール統計研究所です。 今夜は新味の「惑星みたいなチョコボール」を2箱計測します。 中身はこんな感じ こちらも更新してます → Chocolate Ball Viewer 計測結果 date best_before weight box_weight number factory shop angel net_weight mean_weight 2021-11-09 2022-09-01 26.945 4.768 14 小山工場 スーパー（さいたま市） なし 22.177 1.584 2021-11-09 2022-09-01 26.72 4.814 14 小山工場 スーパ…

2021年8・9月消費コンテンツ 8月はコロナ禍で精神のバランスが破壊されてコンテンツ消費どころではなかったので9月とまとめます（感染はしてない）。十年後とかに見直したい気もするし、コロナ禍の諸々もいずれ記事にしてもいいかもしれない。 元気がなかったのでAmazonPrimeとかUnextで適当にズアーッと一覧から面白そうなものをピックするという普段はやらない見方をしていたのだが、意外と粒揃いの映画が見られて悪くなかった。 2021年8・9月消費コンテンツ メディア別リスト 書籍（5冊） 映画（6本） アニメ（13話） 良かった順リスト 人生に残るコンテンツ 消費して良かったコンテンツ 消費し…

こんばんは、チョコボール統計研究所です。 またまた久しぶりです。ピーナツ味を2箱計測します。 こちらも更新してます → Chocolate Ball Viewer 計測結果 date best_before weight box_weight number factory shop angel net_weight mean_weight 2021-10-21 2022-04-01 33.275 4.843 16 小山工場 スーパー（さいたま市） なし 28.432 1.777 2021-10-21 2022-04-01 33.277 4.816 16 小山工場 スーパー（さいたま市） なし …

こちらのスライドをまとめる。 脳が変分ベイズ推定をしている。 自己組織化された系で、環境内で平衡状態であり続けるには、システムの自由エネルギーを最小化する必要あり。 適応的なシステムが無秩序に向かう自然な傾向に抗して持続的に存在するために必要な条件。 ヘルムホルツ的視覚観では、Agentは不可知な世界を、感覚入力を介して推論を行う。 外部世界の事前分布と生成モデル（尤度）を持っていると、事後分布を求めることが、ベイズの公式によって可能。となる。 事後分布を計算する代わりに、推測の分布を変化させ、自由エネルギーを最小化する。 自由エネルギーの式を変換して、相対エントロピーと定数部分に分離出来る。…