要旨 変分推論について勉強し直す。 問題設定 を潜在変数として持つ確率分布からが観測されました。さて、潜在変数はいくらであったと考えられますか？ 頻度主義者の考え方-最尤推定 頻度主義とは、確率を「ある事象が何回中何回起きるか」、つまり、その事象が生起する頻度と解釈する考え方である。 赤玉と白玉が混ぜて入れられている箱があって、その箱から1個の玉を取り出して色を確認し、また戻すという操作を行うとする。「赤玉を取り出す確率は0.6である」という主張は、この操作を無限回繰り返した時、5回中3回の頻度で赤玉が取り出されることを意味している。 また、頻度主義では、推定したい潜在変数は固定されている(確…
いよいよ、スペイン戦ですね。考えてみると、2試合での期待を3試合めにピークともっていくことになったわけです。朝の4時など、なかなかみることができませんが、観る人は増えるでしょうね。楽しみです。 ◯人を動かす 人の心を動かすのは、体験とストーリーです。その人の体験のなかにあるもの、信じていることが何かが、決め手です。 事実ということだけでは、なかなか人の考えまで変えられないのです。どんなにデータ分析や統計学の手法がわかって、それ自体を伝えても、大した影響は与えないことが多いのです。 だから、ドキュメンタリーだけでなく、小説や映画、演劇など、ドラマが手段として選ばれるのです。 ◯エビデンスの使われ…
この3つはどれも確率分布やモデルのパラメータをデータから推定する手法だ（確率分布は正規分布やポアソン分布などの一変数の確率を返すもの、モデルはGLMのような複数の変数の合成によって被説明変数の確率モデルのパラメータを規定するもの）。しつこいが、パラメータ自体の確率分布やモデルは研究者がアプリオリに決めるもので、「仮定」だ。 ・OLS 最小二乗法（OLS）とは、実際のデータの値とモデルによって予測される値の差（誤差）を最小化するように、モデルのパラメータを点推定する方法である。回帰分析であれば、データから偏回帰係数の推定値が算出されるが、偏回帰係数の値と標準誤差があればt値が求まり、t値がt分布…
はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでの実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、10.1.3項の内容です。平均と精度が未知の1次元ガウス分布(正規分布)に対する変分推論(変分ベイズ)をPythonで実装します。 【数式読解編】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに Pythonで実装 ・真の分布の設定 ・観測データの生成 ・事前分布の設定 ・真の事後分布の計算…
はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでの実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、10.1.3項の内容です。平均と精度が未知の1次元ガウス分布(正規分布)に対する変分推論(変分ベイズ)をR言語で実装します。 【数式読解編】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに ・Rで実装 ・真の分布の設定 ・観測データの生成 ・事前分布の設定 ・真の事後分布の計算 ・変分推論 …
はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでの実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、10.1.3項の内容です。平均と精度が未知の1次元ガウス分布(正規分布)に対する変分推論(変分ベイズ)を導出します。 【実装編】 www.anarchive-beta.com www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに 10.1.3 一変数ガウス分布の変分推論 ・モデルの設定 ・平均パラ…
はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.4.4項の内容です。「観測モデルを多次元ガウス混合分布(多変量正規混合分布)」、「事前分布をガウス・ウィシャート分布とディリクレ分布」とするガウス混合モデルに対する崩壊型ギブスサンプリング(周辺化ギブスサンプリング)をPythonで実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる…
はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.4.4項の内容です。「観測モデルを多次元ガウス混合分布(多変量正規混合分布)」、「事前分布をガウス・ウィシャート分布とディリクレ分布」とするガウス混合モデルに対する崩壊型ギブスサンプリング(周辺化ギブスサンプリング)をR言語で実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人には…
はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.3.4項の内容です。「観測モデルをポアソン混合分布」、「事前分布をガンマ分布とディリクレ分布」とするポアソン混合モデルに対する崩壊型ギブスサンプリング(周辺化ギブスサンプリング)をPythonで実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じよ…
はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、4.3.4項の内容です。「観測モデルをポアソン混合分布」、「事前分布をガンマ分布とディリクレ分布」とするポアソン混合モデルに対する崩壊型ギブスサンプリング(周辺化ギブスサンプリング)をR言語で実装します。 省略してある内容等ありますので、本とあわせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立…
HTTF2025（AtCoder Heuristic Contest 040）お疲れ様でした。2,955,084,008,755点で6位です。前回に引き続き解説記事を書きます。 焼きなまし・ビームサーチ・モンテカルロ木探索（MCTS）・マルコフ連鎖モンテカルロ法（MCMC）・多変量正規分布・ベイズ推定・SIMD高速化・ガウス過程回帰といろんな要素が盛りだくさんです。それなりに上級者向け解説なので、分からないところは適宜調べて頂ければと思います。*1 ビジュアライザ (seed=0, score=753,883点) 問題概要 解法概要 推定パート解法 事前分布 初期入力による更新 配置の最適化と…
解説 解法概要 ビジュアライザ 解法 配置、計測した結果を元に箱サイズを推定 ビームサーチ 山登り 提出コード 参加記 0.至高のアルゴリズム解説会#2 1.問題 制約 2.最初の考察 推定パート 試したい事メモ 3.ビームサーチ実装 4.短冊ビン詰め方針 5.短冊ビン詰めビームサーチ 6.全探索差分ビームサーチ 7.上位との差チェック 8.ビームサーチ評価関数 9.山登り？案 10.箱のサイズを調整 11.箱のサイズを調整2 12.パラメータ調整 13.終わりに 解説 解法概要 大まかに２ステップの解法になっています 配置、計測した結果を元に箱サイズを推定 ビームサーチで解を生成しつつ、箱サ…
固定効果モデルや変量効果モデルをMCMCでベイズ推定をかける前の準備として、クラスターごとに異なる分散を持つことを仮定した線形モデルを最尤法で推定する関数をつくります。よくある線形回帰モデルを考えます。が従属変数、が個体（もしくは介入群や対照群などの群）をあらわす添字、が時点をあらわす添字、が時間に対して不変の固有効果、が説明変数のベクトル、が係数、が時点ダミー、が誤差項です。は正規分布を仮定して、とします。は個体ごとの分散、は時点ごとの分散です。 推定コード 固定効果モデルにクラスター頑強標準誤差を用いるよくある手法に近いですが、同様に不均一分散に対応する一方で、系列相関は無いと見なすので劣…
ゴリゴリと統計解析をできる データセットではないので， 朝と午後のカブトムシ個体数比較 2023，2024年のカブトムシ，ノコギリクワガタの個体数の推移 2024年のオオスズメバチの個体数の推移 2023，2024年のカブトムシ残骸数の推移 2024年のカブトムシの分布拡大傾向 幹下部での樹皮剥ぎ面積とエゾエノキ胸高直径との関係（分位点回帰） 立木別個体数とエゾエノキ胸高直径との関係（GLMMのベイズ推定） カブトムシ個体数が大きく減少した8月後半の樹液滲出木の有無 といったことを記載的に取りまとめる予定である。 これにて， 学生さん達に実習で測定してもらった針葉樹見本研究林の林分構成値の再計…
はじめに 久保拓弥 著 「データ解析のための統計モデリング入門 ―一般化線形モデル・階層ベイズモデル・MCMC―」を読んだときに，ベイズモデルや階層ベイズモデルに触れた。本書ではコードがRで書かれていたので，ChatGPTに相談しながらCmdStanPyで実装した。 Pythonによるベイズモデルの実装をきちんと学ぼうと思い，森賀新・木田悠歩・須山敦志 著 「Pythonではじめるベイズ機械学習入門」を読むことにした。本記事は，第1章「ベイジアンモデリング」の第1.4節のうち変分推論法に関する読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 第1章 ベイ…
はじめに 久保拓弥 著 「データ解析のための統計モデリング入門 ―一般化線形モデル・階層ベイズモデル・MCMC―」を読んだときに，ベイズモデルや階層ベイズモデルに触れた。本書ではコードがRで書かれていたので，ChatGPTに相談しながらCmdStanPyで実装した。 Pythonによるベイズモデルの実装をきちんと学ぼうと思い，森賀新・木田悠歩・須山敦志 著 「Pythonではじめるベイズ機械学習入門」を読むことにした。本記事は，第1章「ベイジアンモデリング」の第1.4節のうちMCMCに関する読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 第1章 ベイジ…
本日の勤務は6：55–16：50。 年末が近づくに伴い様々な連絡調整が必要となり，面談したり，電話したり，メールをやりとりしたり。 教育：連絡調整，生物統計学の期末テストと解答例の作成 研究：「カブトムシ」ネタのデータ解析 運営：連絡調整，原稿執筆 貢献：連絡調整 連絡調整以外として，まず生物統計学の期末テストを作成し，実際に解いてみる（まあ，こんなところだろう）。次に，カブトムシの２年分のデータを使い，GLMM，ベイズ推定，分位点回帰などを適用する（今後には隙間時間を使いつつ，解析方針を確定させたい）。さらに，依頼原稿の執筆にようやく着手する。原稿の種類として読みやすい文章が求められるので，…
小西秀和です。 今回は新しく追加されたAWS認定であるAWS Certified AI PractitionerとAWS Certified Machine Learning Engineer - Associateに私が合格するまでの学習過程で得られたナレッジを「AWSに関するAI・機械学習用語集」として、ざっくりとまとめてみました。 この「AWSに関するAI・機械学習用語集」の内容は、日本の「技術書典17」向けに個人出版として共著した「AWSの薄い本の合本Vol.01」における「クイズで学ぶAWSの機能と歴史：厳選『機械学習』編」の問題・解答にも使用しています。 短時間にAI・機械学習の用…
日本各地で観測された異例のオーロラ現象の解明 こんにちは、稗田利明です！ 2024年5月、日本の広範囲でオーロラが観測され、その理由が国立極地研究所の研究により明らかになった。通常、オーロラは高緯度地域でしか見られないが、この時は兵庫県など低緯度地域でも観測された。研究結果によると、この現象の主な要因は、オーロラが異常に高い高度で発生したことだった[1]。 研究チームは、一般市民から提供された多数のオーロラ写真を分析した。179地点で撮影された写真からオーロラ上端の仰角を算出し、ベイズ推定を用いて解析を行った。その結果、このオーロラの上端の高さが1000km以上に達していた可能性が高いことが判…
「階層ベイズモデルとその周辺」の紹介 先日，久保 拓弥 著「データ解析のための統計モデリング入門 一般化線形モデル・階層ベイズモデル・MCMC」を読んだ。 この際，階層ベイズモデルについて学んだので，積読になっていた「統計科学のフロンティア 4 階層ベイズモデルとその周辺―時系列・画像・認知への応用―」が読めるようになっているかなと思い，今回読んでみることとした。私が理解できた範囲で，本書の内容を紹介したい。www.iwanami.co.jp 目次 「階層ベイズモデルとその周辺」の紹介 目次 本書の紹介 本書を読もうとした理由 第I部の構成 第1章 はじめに 第2章 ベイズ型情報処理の適用例 …
本日もいつも通り， 4：20頃に起床。掃除，新聞読みを済ませてから，朝食の前後に時間に来週の微分積分学入門（テイラー展開とマクローリン展開）の予習に勤しむ（註：線形代数学入門の予習（逆行列の演習）については昨夜に済ませた）。身支度を済ませた後，7：00頃から再来週以降の生物統計学（相関分析，回帰分析）の板書メモを作成する。 板書メモを作成する合間に，データ分析演習で今後説明する予定の「確率（数理的確率，哲学的概念という2回分）」のメモ書きを読み直す。個人的には大変興味深い内容だと思うものの，先日，ベイズ推定の基礎を授業した際の「孤立感」からすれば，まあ，多くの学生さんには興味深くない内容なの…
はじめに ベイジアンネットワーク 概要 理論 モデル手順 スコアベースの手法 制約ベースの手法 パラメータ学習 静的ベイジアンネットワーク実装 動的ベイジアンネットワーク (DBN) 構造方程式モデル（SEM）の実装 最後に はじめに 前回のLiNGAMの記事に引き続き、因果探索の手法に焦点を当てて、記事を書いていきたいと思い、ベイジアンネットワークについての記事を書くに至りました。正直なところ、ベイジアンネットワークについては、記事を書くまで、概念的な理解しかなく、どちらかというと初心者でした。ですが、最近話題になっているのもあり、今回記事を執筆するのを良い機会ととらえ、ベイジアンネットワー…
マルコフ連鎖モンテカルロ法（MCMC）には様々なアルゴリズムがあり、メトロポリス・ヘイスティングス法は尤度関数があれば推定ができる使い勝手のよい方法だと知られています。しかし、高次元で効率が悪いことが知られており、また多峰の確率分布には上手く対応できないそうで、最近のベイズ推定ではHamiltonian Monte Carlo法や、その発展であるNo-U-Turn Samplerが使われています。Hamiltonian Monte Carlo法は教科書的な手法のようで、Rにもhmclearnと言うHamiltonian Monte Carlo法の教育用パッケージがあるのですが、参考にしつつFo…
リブセンスでデータサイエンティストをしている北原です。転職ドラフトの提示年収の伸び率分析結果の紹介です。 公開されているように転職ドラフトでの提示年収は急激に上昇しています。インフレも続いているのでスキルベースで提示年収が決まるならば、インフレと同程度に提示年収も上昇するのは不思議ではありません。気になるのはインフレ以上に提示年収が伸びているかではないでしょうか。そこで、今回は転職ドラフトで指名を受け続けた場合の提示年収伸び率を推定しインフレ率と比較しました。 提示年収の増加とインフレ まず、2022年1月からの開催回ごとの平均提示年収について見てみましょう。95%信頼区間も合わせて表示してい…
記事の内容 この記事では、確率と統計を学ぶための本を紹介します。 確率・統計への関心は年々高まってきていますよね。ぜひ学んでおきたい分野だと思います。実利だけでなく、シンプルにとても面白いテーマです。 私もまだまだ学習途中です。 自分のペースでゆったりと歩んでいきましょう。 それでは、目次をご覧ください。 記事の内容 このブログ全体のガイドライン 確率・統計読み物 数学ガールの秘密ノート やさしい統計 数学ガールの秘密ノート 確率の冒険 統計学が最強の学問である データ分析の力 因果関係に迫る思考法 データ分析・AIを実務に活かすデータドリブン思考 確率のはなし 確率的発想法 数学を日常に活か…
qiita.com
www.anlyznews.com
www.slideshare.net
speakerdeck.com
ytake2.github.io
nbviewer.org
www.kmonos.net
www.slideshare.net
www.udemy.com
