統計モデリング

はじめに こんにちは。データサイエンティストの本多です。今回の記事はみんなが大好きな年収の話です。OpenWorkに2020年12月に登場した機能である、年齢別年収についてその裏側を紹介します。 プロジェクトの背景と目標 OpenWorkで集めている年収データの歴史 OpenWorkのクチコミには開設当初から「年収・給与」というカテゴリがあり、各企業の年収事例や給与制度の特徴などに関するクチコミを収集・掲載しています。かつては具体的な年収事例も他のカテゴリのクチコミと同様に自由記述のテキスト形式で収集していました。古い投稿を読んで頂くと、「新卒入社10年目、35歳、主任 年収XXX万円」のよう…

Think out of the boxという言葉がある。あらかじめ決まった枠のなかでものを考えるのをやめて創造的にものを考えよ、という意味である。 日本人は特に決められたコミュニティのなかで生きるのが好きだ。安心するのだろうし、それが何よりも大切な社会を構成している要素だからである。飲み会帰りの集団が、歩道に広がって互いに必要以上に丁寧に挨拶などを交わしている姿を見かける。彼らは他の人たちが歩道を歩く妨げになっていることには頓着しない。 決まった枠のなかで行動しているだけではない。決まった枠のなかで思考をしているのである。 政治的な言動も、右翼と左翼に別れている。右翼／左翼の人たちはそれぞれ…

久々の更新、お久しぶりです。 最近このようなベイズ統計モデリングの本を共著で書きました： PyMC3、Pyroで学ぶ統計モデリング発展作者:LiberalArts,yoichi_t,TatamiYA発売日: 2020/11/22メディア: Kindle版 自分の担当箇所は第二章のHamiltonian Monte Carlo法（以下HMC）の節と、AppendixのHMCの詳細です。 HMCは任意の確率分布からサンプリングを行う際に用いられる手法で、 StanやPyMCといった確率的プログラミングの裏の処理にも使われています。 この手法は物理学の考え方をベースとしておりとっつきにくいうえに、 …

【概要】 系列データのモデリングと状態推定のシリーズ5回目 今回は、カルマンフィルタとパーティクルフィルタの比較をやってみます 【目次】 はじめに 問題設定 状態推定 比較 実験環境 計算時間 平均と標準偏差の比較 比較のまとめ 推論と比較のnotebook おわりに 参考資料 はじめに 統計モデリングを行うにあたって、独立同分布(i.i.d; independent and identically distributed)を仮定することが多いと思います。 しかし、i.i.dを仮定できないケースはよくあります。時系列などの系列データが代表的です。また、i.i.dを仮定することが多い対象でも、計…

【概要】 パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます 今回は、固定点平滑化を応用した状態空間モデルのパラメータ推論である自己組織化状態空間モデルを試してみます 【目次】 はじめに 平滑化 平滑化 固定ラグ平滑化 固定点平滑化 パラメータ推論：自己組織型状態空間モデル 自己組織型状態空間モデルの実装 問題設定 モデリング 実装 推論結果 おわりに 参考資料 はじめに 統計モデリングを行うにあたって、独立同分布(i.i.d; independent and identically distributed)を仮定することが多いと思います。 しかし、i.i.dを仮定で…

【概要】 パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます 今回は、前回既知としていたモデルのハイパーパラメータを直接法を利用して推論してみます 直接法ってこういう理解であってるのかしら？？ 【目次】 はじめに モデルの学習 学習 最尤法（直接法） パーティクルフィルタにおける尤度 直説法による最適化の実装 問題設定 実装例 推論結果 おわりに 参考資料 はじめに 統計モデリングを行うにあたって、独立同分布(i.i.d; independent and identically distributed)を仮定することが多いと思います。 しかし、i.i.dを仮定できない…

【概要】 パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます 【目次】 はじめに 状態空間モデル 系列データ 系列データのモデリング 状態空間モデルの状態推定 パーティクルフィルタ パーティクルフィルタとは パーティクルフィルタのアルゴリズム 実装 おわりに 参考資料 はじめに 統計モデリングを行うにあたって、独立同分布(i.i.d; independent and identically distributed)を仮定することが多いと思います。 しかし、i.i.dを仮定できないケースはよくあります。時系列などの系列データが代表的です。また、i.i.dを仮定することが…

GPT-4が発表されたばかりで間が悪いのですが、 （GPT-4は学問領域の応答能力が大幅に向上したそうで） ChatGPTに統計学を教えてもらった結果を記事化しようと思います。 統計学にしたのは、私が多少勉強していて、ある程度、正確性を判断できる分野だからです。（私） 推測統計について教えて。 不偏分散はどうしてn-1で割るの？ 「推測統計」って用語を書いてる時点で分かってる人間ですよね。 まぁ、不偏分散がなぜn-1で割るか、というのは典型的な統計の分かりにくい所なので、まずはここを質問、と。 （ChatGPT） 推測統計において、標本から母集団の性質を推測するために様々な統計量が使われます。…

はじめに さまざまなテキストベイズ統計の理論と方法作者:渡辺 澄夫コロナ社Amazon実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazonなどを参照しながらベイズ統計学について学んでいきます。 また理論だけでなく、可能な限りシミュレーションを含めていくこととし、それも,やなど幅広い言語で実装していきたい。 各種バージョン情報 OS Windows 11 Home 22H2 R R-4.1.3 RStudio RStudio 2022.02.2+485 "Prairie Trillium" …

一般化線形モデル（Generalized Linear Model: GLM）のメモ。 【目次】 計算式 GLMの例 参考資料 ・線形回帰モデルでは、誤差が互いに独立に正規分布に従うことを前提としている（不遍性・等分散性・独立性・正規性）。 ・そのため誤差構造が正規分布ではない場合、モデルの当てはまりが悪い。 ・GLMでは誤差構造が何の分布に従うかを指定できる。 計算式 GLMは分布族・リンク関数・線形予測子でモデリングする。 「リンク関数 (期待値) ＝ 線形予測子」で期待値を のスケールに写像し、この空間で線形モデルを作成する。 「逆リンク関数（リンク関数の逆数）」で線形予測子を元のスケー…

はじめに さまざまなテキストベイズ統計の理論と方法作者:渡辺 澄夫コロナ社Amazon実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazonなどを参照しながらベイズ統計学について学んでいきます。 また理論だけでなく、可能な限りシミュレーションを含めていくこととし、それも,やなど幅広い言語で実装していきたい。 各種バージョン情報 OS Windows 11 Home 22H2 R R-4.1.3 RStudio RStudio 2022.02.2+485 "Prairie Trillium" …

www.iwanami.co.jp 内容 1章 生成モデルの一つとしての拡散モデル、拡散モデルとスコアマッチング法との関係について 2章 SBMとDDPMについて、学習対象の導出、統一的理解 3章 時間連続極限の場合と拡散モデルの高性能について 4章 条件付き生成、高解像度化、群不変、同変性 5章 アプリケーション 感想 他の本

ベイズ統計の再パラメーター化について How to do reparameterization（松浦本Page 196） Rescaling (Matsuoka book, page 58) - 200点満点なら２００で割る - お金の単位が万なら、万で割る - 標準偏差で割る。標準化？ - 標準偏差の２倍で割る - データの最大値で割る Neal Funnel - Raw parameterがスケールを固定した分布に従うとして、Rawパラメーターにスケールをかけることで元のパラメーターを表現する。（Page 197) - スケールを固定した分布としては、normal (0, 1), unif…

はじめに 2023年1月30日に統計検定準1級に合格しました。合格までの勉強内容や受験した感想を紹介します。 自分のスペック 2021年5月に統計検定2級合格 数学は得意な方。大人になってからも線形代数や物理の参考書を買って勉強していた 統計学や械学習関連の書籍を以前に読んだことがある(統計学入門、はじめてのパターン認識、データ解析のための統計モデリング入門、ベイズ深層学習など)。ほぼ覚えていませんが。。。 Kaggleやってる(Expert) 仕事でデータ分析をしている(ただ統計学を使うかというとそこまででもない) 使用した参考書 現代数理統計学の基礎 (共立講座 数学の魅力) | 達也, …

(Image by wal_172619 from Pixabay)去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。

はじめに さまざまなテキストベイズ統計の理論と方法作者:渡辺 澄夫コロナ社Amazon実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazonなどを参照しながらベイズ統計学について学んでいきます。 また理論だけでなく、可能な限りシミュレーションを含めていくこととし、それも,やなど幅広い言語で実装していきたい。 各種バージョン情報 OS Windows 11 Home 22H2 R R-4.1.3 RStudio RStudio 2022.02.2+485 "Prairie Trillium" …

概要 統計検定準1級の概要 統計検定とは 検定種別 統計検定準1級について 受験の動機 試験勉強 書籍 動画 試験について 受験申込 試験当日 試験結果 感想 概要 統計検定準1級を受験し、無事合格できましたので試験についてメモしておきます。 統計検定準1級の概要 統計検定とは 統計質保証推進協会が実施、日本統計学会が公認の民間試験です。 最近、データサイエンス系の資格・試験が増えてきていますが、その中でも統計検定は比較的由緒正しい？試験という印象があります。統計数理研究所の人材育成プログラムにおいても、スキルの目安として統計検定が触れられています。 検定種別 検定の種別としては以下の10種が…

はじめに さまざまなテキストベイズ統計の理論と方法作者:渡辺 澄夫コロナ社Amazon実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazonなどを参照しながらベイズ統計学について学んでいきます。 また理論だけでなく、可能な限りシミュレーションを含めていくこととし、それも,やなど幅広い言語で実装していきたい。 各種バージョン情報 OS Windows 11 Home 22H2 R R-4.1.3 RStudio RStudio 2022.02.2+485 "Prairie Trillium" …

はじめに さまざまなテキストベイズ統計の理論と方法作者:渡辺 澄夫コロナ社Amazon実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＲとＳｔａｎではじめる ベイズ統計モデリングによるデータ分析入門 (ＫＳ情報科学専門書)作者:馬場真哉講談社Amazonなどを参照しながらベイズ統計学について学んでいきます。 また理論だけでなく、可能な限りシミュレーションを含めていくこととし、それも,やなど幅広い言語で実装していきたい。 各種バージョン情報 OS Windows 11 Home 22H2 R R-4.1.3 RStudio RStudio 2022.02.2+485 "Prairie Trillium" …