tidyverse

parse_date_time()でexact=TRUEを指定したときとしないときの挙動で悩んだのでメモ。 追記(2020/11/3): macはまた違う挙動らしいです（参考）

Rでのデータ分割の方法のメモ。 データ準備 rsample で分割 dplyr で分割 参考 データ準備 1500行の何の意味もないデータ。 ads <- data.frame(id=seq(1:1500)) rsample で分割 library(rsample) ads.sp1 <- rsample::initial_split(ads, prop=3/4) adtrain1 <- rsample::training(ads.sp1) #-- 訓練データ adtest1 <- rsample::testing(ads.sp1) #-- テストデータ initial_split関数で分割する…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、3.2.3項の内容です。尤度関数をポアソン分布、事前分布をガンマ分布とした場合のパラメータの事後分布と未観測値の予測分布の計算をR言語で実装します。 省略してある内容等ありますので、本とあせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 www.…

CentOS７でのR言語のインストールにハマったので、メモを残しておく。 結局、デフォルトのままだと、EPELリポジトリが無効になっているっぽい。 まずは、パッケージのバージョンを最新版にあげておく、 #リポジトリのアップデートなど $ sudo yum update #OR #Brokenエラーで止まる場合には、--skip-brokenフラッグを入れるらしい。 $ sudo yum update --skip-broken つぎに、EPELリポジトリをダウンロードする。 なぜか、EPELリポジトリのインストールが、 yum でうんともすんともうまくいかないので、wgetでダウンロードする。…

はじめに 先日より「Google流資料作成術」を読み進めています。タイトルが如何にもといった感じで敬遠していたのですが、実際に読んでみると、ストーリーの一部としてデータを伝えるための可視化のポイントや例が盛り沢山でかなりの良書だと感じました。いずれ可視化の考え方などもまとめてみたいなと思います。(原書のタイトルは「storytelling with data」らしいので個人的にはそっちの方が分かりやすくて良かったのになと、、、) さて、ここでは「Google流資料作成術」の良い感じのグラフをR(ggplot)で再現してみることにします。手始めに可視化の基本的な例として取り上げられることの多い散…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、3.2.2項の内容です。尤度関数をカテゴリ分布、事前分布をディリクレ分布とした場合のパラメータの事後分布と未観測値の予測分布の計算をR言語で実装します。 省略してある内容等ありますので、本とあせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 ww…

今回は都道府県別の健康寿命のデータについて調べてみようと思います。 データはいつものように、政府統計の総合窓口e-statから取得します。 データ表示 | 都道府県データ | 社会・人口統計体系 | 地域から探す | 政府統計の総合窓口 (e-stat.go.jp) 地域は47度道府県を選択しました。 データは健康寿命の他に、総人口、県内総生産額、医師数、歯科医師数、薬剤師数、看護指数を選択しました。 こういうCSVファイルです。9行目に変数名を挿入しています。 year: 調査年度 pref: 都道府県名 pop: 総人口(人) gdp: 県内総生産額(百万円) male: 男性の健康寿命 …

本記事では、初めてデータ分析を勉強する方が、最初に読むべき3冊の本を紹介します。最低限の知識を習得して、すぐに分析が始められることを重視して書籍を厳選しました。 この記事では、最短ルートでデータ分析を始める為の書籍を紹介します。 データ分析に関する書籍は、たくさんありますが、初心者には難しい用語や理論がたくさん含まれていることが多いのです。 本屋さんで売れている本を手にとってみても、なかなか理解が進まないのが現実。 知らない用語が多いと、だんだん眠くなっちゃうよ。。。 素晴らしい本はたくさんあるけど、読む順番を間違えると効率も良くないんだ。 そこで、データ分析に詳しくなかった私が理解を深めるた…

はじめに 『ベイズ推論による機械学習入門』の学習時のノートです。基本的な内容は「数式の行間を読んでみた」とそれを「RとPythonで組んでみた」になります。「数式」と「プログラム」から理解するのが目標です。 この記事は、3.2.1項の内容です。尤度関数をベルヌーイ分布、事前分布をベータ分布とした場合のパラメータの事後分布と未観測値の予測分布の計算をR言語で実装します。 省略してある内容等ありますので、本とあせて読んでください。初学者な自分が理解できるレベルまで落として書き下していますので、分かる人にはかなりくどくなっています。同じような立場の人のお役に立てれば幸いです。 【数式読解編】 www…

はじめに 『ゼロからできるMCMC』の図とサンプルコードをR言語で再現します。本と一緒に読んでください。 この記事は、5章の内容です。多変数のガウス分布(多変量正規分布)に対してメトロポリス法を用いて期待値計算を近似します。 【前の章の内容】 www.anarchive-beta.com 【他の章の内容】 www.anarchive-beta.com 【この章の内容】 はじめに 5.1 多変数のガウス分布 ・分布の近似 ・期待値の近似 ・シミュレーション 参考文献 おわりに この章で利用するパッケージを読み込みます。 # 5章で利用するパッケージ library(tidyverse) 5.1 …

はじめに 『ゼロからできるMCMC』の図とサンプルコードをR言語で再現します。本と一緒に読んでください。 この記事は、4章の内容です。マルコフ連鎖モンテカルロ法の1つであるメトロポリス法を行います。 【前の章の内容】 www.anarchive-beta.com 【他の章の内容】 www.anarchive-beta.com 【この章の内容】 はじめに 4.1 メトロポリス法 4.2 期待値計算の具体例 4.3 自己相関 4.3.1 初期値との相関とシミュレーションの熱化 4.4 ガウス分布以外の例 ・混合ガウス分布 ・混合分布 参考文献 おわりに この章で利用するパッケージを読み込みます。 …

はじめに 『ゼロからできるMCMC』の図とサンプルコードをR言語で再現します。本と一緒に読んでください。 この記事は、3章「マルコフ連鎖モンテカルロ法の一般論 」の内容です。この章では、マルコフ連鎖モンテカルロ法の典型例としてランダムウォークについて解説します。 【前の章の内容】 www.anarchive-beta.com 【他の章の内容】 www.anarchive-beta.com 【この章の内容】 はじめに 3.1 マルコフ連鎖 3.3 非周期性 参考文献 おわりに この章で利用するパッケージを読み込みます。 # 3章で利用するパッケージ library(tidyverse) 3.1 …