帰無仮説

Miguel A. Hernán, James M. Robinsらの著書であるCausal Inference: What IfのChapter1: A definition of causal effectについてまとめていきます。個人的な学習やゼミの関係で作成したスライドも下部に載せています。誤記等ある場合にはご指摘いただけますと幸いです。この章では反事実アウトカムという概念とそれを用いた因果効果の定義、データから因果効果を識別するための条件について紹介が行われます。前回の内容はこちら。 norihirosuzuki.hatenablog.com Measures of causal e…

しっかりと特徴が観て取れます。 3日間だけの比較ですがポンドが売られてドルが買われる どの時間帯に傾向が現れやすいか 流動性の高いシーンを抜き取る事でリスク回避とアドバンテージになります。 5月26日(金)のドル円 ヒストグラムに確率密度関数をプロットしました。 データの分布が左に歪んでいるという事は 平均よりも小さい値が多く 平均よりも大きい値が少ないという事になります。 価格の上昇が止まると同時に滑らかになっているのは価格の変動が小さくなっていることを示しています。 確率密度関数をプロットする際 データの範囲をbins=30で分割しています。 下記のヒストグラムが分割をしない場合です。 ノ…

Miguel A. Hernán, James M. Robinsらの著書であるCausal Inference: What IfのChapter1: A definition of causal effectについてまとめていきます。個人的な学習やゼミの関係で作成したスライドも下部に載せています。誤記等ある場合にはご指摘いただけますと幸いです。この章では反事実アウトカムという概念とそれを用いた因果効果の定義、データから因果効果を識別するための条件について紹介が行われます。前回の内容はこちら。 norihirosuzuki.hatenablog.com Preface Individual c…

最近この本を読んだのですが、時系列分析の主要トピックを扱っている良書だなと思いました。 時系列分析と状態空間モデルの基礎: RとStanで学ぶ理論と実装作者:真哉, 馬場プレアデス出版Amazon とにかく説明が丁寧で、数式や実例が駆使されて初めて触れる概念もすんなり理解できた気がしました。 本文では主にRでの実装が載っていますが、pythonでも出来そうだったので本文の流れに沿って実装してみたので紹介します。 ARIMA（第2部 6-14） 用いるデータセットはRに組み込まれているSeatbeltsです。こちらはweb上に公開されているのでダウンロードします。 curl -O https:/…

今日の積み上げ AI学習 Udemy統計検定２級対策講座 セクション4「推測統計」：44～45終了 セクション5「仮説検定」：46～50終了 ＡＩ学習 区間推定がどういうものか、小テストに取り組むことでイメージがついてきました。 ただ、公式はうる覚え状態なので、まだまだなところがあります。 講師曰く、 試験直前に公式を覚えれば、試験に合格はできるかもしれない しかし、それだけでは理解の定着に繋げるのは難しい 合格後のことを考えると、 何がどんな分布に従うのか それを丁寧に整理していけば、信頼区間の式が導ける このことに習熟することで理解の定着が長持ちする とのこと。 この流れで考えると、最初の…

本ページでは、ベクトル自己回帰（VAR）モデルとは何かについてまとめたい。 時系列データ分析における基本的な考え方である定常性や自己相関、ARモデル等については、以下の2つのページを参照されたい。 hongoh.hatenablog.com hongoh.hatenablog.com VARモデル ベクトル自己回帰モデル（VAR, Vector autoregression）とは、ARモデルを複数の変数に拡張したものである。 例えば、２つの変数（y,x）から成るVAR(1)モデルは以下のように表現できる。 行列を用いて表現すると以下のようになる。 2行目はx,yからなるベクトルをZを用いて書き…

データ分析実務スキル検定 公式テキスト 作者:株式会社データミックス インプレス Amazon データ分析に興味があって買ってみたら、実用的な内容が記載されていたので満足しています。 試験を受けようか迷っていますが、落ちると半年は受けられないみたいなので確実に合格するレベルになってから試験申し込みするのがいいですね。 下記はテキストをみつつ、イマイチ理解が得られなかったものはChatGPTに聞いてみました。良かったら参考ください。 ＜メモ＞ ・質的変数 └名義尺度：性別・職業・役職など、カテゴリーを表す変数のこと。 変数の水準と呼ばれることもある。 └順序尺度：値（水準）ごとの順序の定まった変…

naniarパッケージを用いた方法 library("naniar") Little (1988)の検定統計量を用いて、データが完全にランダムに欠落しているかどうか(MCAR)を評価する。この検定の帰無仮説は、データがMCARであるというもので、検定統計量はカイ二乗値である。 mcar_test(airquality) 結果。 statistic df p.value missing.patterns 1 35.1 14 0.00142 4 P値が5%以下であるため、このデータは完全にランダムに欠損値が発生しているわけではないことがわかる。 mistyパッケージを用いる方法 library(m…

誰しも一度くらいは、乱数生成器を疑似体験1してみたいと思ったことがあるのではないでしょうか？ あなたは乱数が好きですか？私はどちらかと言えば好きよりの人間です。どれくらいかと言えば、三度は思うほどに。飯の代わりになるほどに。 乱数を疑似体験したい、すべての人に贈るゲームを作ってみました。 あなたは乱数生成器ですか？ あなたは乱数生成器ですか？ この記事を読んでいるほとんどの人は、乱数生成器ではないかもしれない。しかし、自分を乱数生成器だと主張する人が現れるかもしれない。そんな時にランダムにキーボードを叩かせて、その結果が非常にランダムだった場合、その人は乱数生成器といっても過言ではないだろう。…

一度観測してからサンプルサイズを積むとp-hackingになるシミュレーション 要旨 twitterで話題になってたので自分でもやってみた pythonで実施 マジで誤謬の確率が高くなる よくよく考えると 実験→検定→p値観測→分岐発生 [A]0.05より大きい→サンプルサイズ貯まるまで待つ [B]0.05以下→有意差ありとしてここでストップ 以下のような話が隠れている？ 観測0.08→待つ →観測0.06→待つ →観測0.04→本来ならここで止めるが続けると・・・ →観測0.06（閾値の範囲内に収まってしまった） 気になりごと 今回のシミュレーションは帰無仮説が成立する場合の話なので棄却でき…

PKとESPの操作的定義 コインを投げる→PK 帰無仮説を立てる 有意確率の計算 具体的な計算の例 カードの模様を当てる→ESP 第一種の誤りと第二種の誤り 実証主義と反証主義 PKとESPの操作的定義 行動主義的な超心理学の立場に依拠すれば、PKやESPという能力が実在するかどうかについて議論する必要はない。決められた手続きの実験を行い、その結果を統計的に処理した結果、偏りが出れば、それを操作的（operational）にPKやESPと名づけて議論を進めることができる[*1]。これは超心理学という分野が特殊だからではなく、行動主義の影響を受けた実験心理学全般と同じ方法論である。しかし、とりわ…

データ分析実務スキル検定 公式テキスト 作者:株式会社データミックス インプレス Amazon 資格を取りたくて、というよりはデータ分析力を高めたくて勉強することにしました。 あまり知られていない検定ですが、内容はデータ分析するためのビジネス課題やKPIツリー、統計理論、SQL・Python・Rで実装を想定した内容等が書かれていて勉強になっています。 今、じっくり時間をかけているところが統計理論。 式をみても？と思うことが多く腹落ちまではできていない状況。コツコツがんばります。 自分で分析レポート作るのがキャッチアップとしては効率的かもです。 ＜勉強メモ＞ ■質的変数 └名義尺度：性別・職業・…