こんにちは、データサイエンティストの小柳です。 プロセスマイニングという考え方およびツールがあります。 プロセスのイベントログデータを収集し、業務プロセスの実体を可視化、分析する手法です。業務フローが言語化されていない場合や、想定されている業務フローと実際に行われている業務フローに乖離がある場合にこの手法を用いることで実際の業務フローが可視化され、どこを改善するかを検討する材料になるわけです。 しかし、プロセスマイニングで業務フローが見えたとして、その先に何ができるでしょうか。「今年何件受注できそうか」「どの施策がKPI達成に最も寄与するか」——こうした問いに答えるには、可視化の先にある定量的…
鶴亀算を解こう。 ある庭に何羽かの鶴と何匹かの亀がいる。 20人の観測者が頭の数と足の数を数えたところ次のようなデータが得られた。 observed_heads observed_feet 96 275 96 272 94 274 95 272 ...中略... ...中略... 96 273 庭にいる鶴の数と亀の数を求めよ。 観測者によって頭の数と足の数がバラバラだ。これは各観測者が数え間違いをしている (かもしれない) からだ。 ベイズの考えを使って解く 典型的な鶴亀算の問題は、与えられた「頭の数」と「足の数」を真の値として決定論的に計算する。 今回の問題では「頭の数」と「足の数」に観測誤…
分析において、得られたデータを分布に当てはめて母数を推定することがよくある。 例えばコイン投げでイカサマコインかどうか見抜きたかったら、とりあえず二項分布に当てはめて「表が出る確率 p」を推定したくなるだろう。 今回は正規分布・t分布への当てはめをやってみる。特に データに外れ値を含む場合にt分布への当てはめが有用 なことを見ていく。 この記事のタイトルにある「ロバスト」とは「t分布を想定しておけば、外れ値を含んだデータに対してもいい感じにやってくれる」みたいな意味だ。 例によって、すべての処理を実行してみられる Google Colab Notebook がここにある。 colab.rese…
おはようございます！ これまでに、統計モデリングについて勉強してきたことを、少しずつ記事にまとめてきました。 （よかったら、過去の記事もぜひご覧くださいね☺） yukichan-mama.com さて、統計モデリングとは何かというと、こんなふうに説明されることが多いです。 「データが特定の確率モデルに従って生まれたと仮定し、そのモデルのパラメータを推定することで、現象の理解や予測を行う枠組み」 ……うん、最初にこの説明を聞いても、「？？？」ですよね（笑） 私も最初は、知らない言葉だらけで、「何から手をつければいいの？」と戸惑いました。 前回の記事では、その中でもよく出てくる用語「確率モデル」と…
こんにちは。データサイエンスチームの坂本と申します。使い慣れたRを使って、Google Colabのクラウド環境上でベイズ推定ができたら便利ですよね。しかしやってみると意外に環境設定手順が複雑で、悩むことになるかもしれません。 TechBlog第15回では、統計解析環境Rのユーザーが、Google Colab上でベイズ推定を行う際の手続きを紹介します。ベイズ推定にはハミルトニアン・モンテカルロ法のNUTSアルゴリズムを使用してパラメータ推定を行うためのRパッケージ、cmdstanrを利用します。また、せっかくですので、後半では構築した環境を使った分析例もご紹介します。ウェアラブル端末で測定した…
要旨 変分推論について勉強し直す。 問題設定 を潜在変数として持つ確率分布からが観測されました。さて、潜在変数はいくらであったと考えられますか？ 頻度主義者の考え方-最尤推定 頻度主義とは、確率を「ある事象が何回中何回起きるか」、つまり、その事象が生起する頻度と解釈する考え方である。 赤玉と白玉が混ぜて入れられている箱があって、その箱から1個の玉を取り出して色を確認し、また戻すという操作を行うとする。「赤玉を取り出す確率は0.6である」という主張は、この操作を無限回繰り返した時、5回中3回の頻度で赤玉が取り出されることを意味している。 また、頻度主義では、推定したい潜在変数は固定されている(確…
いよいよ、スペイン戦ですね。考えてみると、2試合での期待を3試合めにピークともっていくことになったわけです。朝の4時など、なかなかみることができませんが、観る人は増えるでしょうね。楽しみです。 ◯人を動かす 人の心を動かすのは、体験とストーリーです。その人の体験のなかにあるもの、信じていることが何かが、決め手です。 事実ということだけでは、なかなか人の考えまで変えられないのです。どんなにデータ分析や統計学の手法がわかって、それ自体を伝えても、大した影響は与えないことが多いのです。 だから、ドキュメンタリーだけでなく、小説や映画、演劇など、ドラマが手段として選ばれるのです。 ◯エビデンスの使われ…
この3つはどれも確率分布やモデルのパラメータをデータから推定する手法だ（確率分布は正規分布やポアソン分布などの一変数の確率を返すもの、モデルはGLMのような複数の変数の合成によって被説明変数の確率モデルのパラメータを規定するもの）。しつこいが、パラメータ自体の確率分布やモデルは研究者がアプリオリに決めるもので、「仮定」だ。 ・OLS 最小二乗法（OLS）とは、実際のデータの値とモデルによって予測される値の差（誤差）を最小化するように、モデルのパラメータを点推定する方法である。回帰分析であれば、データから偏回帰係数の推定値が算出されるが、偏回帰係数の値と標準誤差があればt値が求まり、t値がt分布…
はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでの実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、10.1.3項の内容です。平均と精度が未知の1次元ガウス分布(正規分布)に対する変分推論(変分ベイズ)をPythonで実装します。 【数式読解編】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに Pythonで実装 ・真の分布の設定 ・観測データの生成 ・事前分布の設定 ・真の事後分布の計算…
はじめに 『パターン認識と機械学習』の独学時のまとめです。一連の記事は「数式の行間埋め」または「R・Pythonでの実装」からアルゴリズムの理解を補助することを目的としています。本とあわせて読んでください。 この記事は、10.1.3項の内容です。平均と精度が未知の1次元ガウス分布(正規分布)に対する変分推論(変分ベイズ)をR言語で実装します。 【数式読解編】 www.anarchive-beta.com 【他の節一覧】 www.anarchive-beta.com 【この節の内容】 はじめに ・Rで実装 ・真の分布の設定 ・観測データの生成 ・事前分布の設定 ・真の事後分布の計算 ・変分推論 …
qiita.com
www.anlyznews.com
www.slideshare.net
speakerdeck.com
ytake2.github.io
nbviewer.org
www.kmonos.net
www.slideshare.net
www.udemy.com
