相関係数

こんにちは、ABEJAの真壁孝嘉（@Takayoshi_ma）です。変数Aと変数Bにどれくらいの関連性があるの？このデータから何が言える？みたいなニーズって至る所にあるかと思います。その時に活用される様々な数学的指標たち、（自分含め）名前を知ってるだけだと危険だよなあって場面が近頃多い気がしたので、改めてメモ的な意味でブログを書いてみました。前半に（ピアソンの積率）相関係数に関する注意点を列挙したのち、後半にそれ以外の数学的指標の概要を列挙していこうと思います。 尚、このブログで度々登場する相関係数とはピアソンの積率相関係数を表すこととします。 相関係数の注意点 相関係数の概要 相関関係と因果…

youtu.be

ｲｱﾝ・ｽﾁｭｱｰﾄ 著 徳田 功 訳 「不確実性を飼いならす」ﾒﾓ 不確実性を飼いならす——予測不能な世界を読み解く科学 作者:イアン・スチュアート 白揚社 Amazon イアン・スチュアート著 徳田 功訳「不確実性を飼いならす 予測不能な世界を読み解く科学」メモ ７ 社会物理学----------------------------------------------------------------------------------【まとめ】・標本抽出により、母集団全部を調べなくても母集団の性質を合理的に推定可能。・予備的な標本抽出で標準偏差を推定し、結果の正しさに対する信頼度及び誤…

はじめに 覚えてほしいこと やりたいこと 事前準備 データのダウンロード データの下処理 今回のポイント1 - データの粒度を揃える 今回のポイント2 - データの完全性を揃える Linear Correlationの使い方 計算Logic Workflow - Linear Correlation Confirm - Linear Correlation Correlation Measure - テーブル形式でp値・自由度とともに相関係数を確認 Correlation Matrix - 相関係数を星取表形式で確認する Interactive View Correlation Matrix …

副題：データ（事実）は操作できるはてなブログでTeXを使える事実が判明しました。私は素人ですから高度な言語を扱えません。せいぜいHTMLなどのマークアップかスタイルシートが少しわかる程度です。しかしそうすると、普通に記事を書く分にはさして不便ないのですが、数式を記述できないんですよね。これ。たとえば相関の分数表現程度なら「係数r=Sxy/Sx·Sy」とか書けそうですが、連分数とかシグマとかルートとか記述の量が増えると見た目がつらくなる。TeX使えたらなぁ・・ とダメ元でチャレンジしてみたら、ちゃんと反映されました！されないですね。 「tiny」より小さなサイズは指定できないのでこれ（どれ？）が…

お互いにある変数と相関がある変数同士の相関係数を算出する場合、お互いに相関がある変数の影響を排除したうえでの相関を検討したいことがある。 そのようなときに使う方法が偏相関係数だ。 偏相関係数を算出する試験デザインを考える際に、サンプルサイズ計算はどのようにすればいいのか？

２つの量的データの関係を視覚的にみる方法としては、散布図や回帰直線などがありますが、それ以外に関係性を見る一つの指標に相関係数があります。今回はSASのCORRプロシジャを使った相関係数の算出についてまとめます。 相関係数について 相関（correlation）は、二つの量的データ、確率変数が線形関係にあるという条件の下で、どれほど関係しているのかを数量的に見たものです。そのため直線的な関係以外が考えられる場合にはその利用には注意が必要です。ここでは、CORRプロシジャで算出可能な２つの相関係数についてまとめます。 ピアソンの相関係数（Peason's coefficient of corre…

全468個。Calcの真価が発揮されるのは関数を使ったときである。

無相関の検定 母集団における相関係数、すなわち、母相関係数ρが0か否かの検定を無相関の検定という。仮説は以下のようになる。 帰無仮説：ρ=0 対立仮説：ρ≠0 一般的にデータ数が少ない時、統計量の信頼性は低い。得られたデータから求めた相関係数rに意味があるのか、誤差の範囲なのかを評価するために無相関の検定を行う。 この検定にはr表を用いる検定とt表を用いる検定がある。 r表による検定 r表を用いる場合、自由度はn-2となり、r表の数値はr(n-2,α)と表現する。 有意水準αにおける検定では、次のような規則となる。 |r| ≧ r(n-2,α)ならばを棄却する |r| ＜ r(n-2,α)なら…

各高校の進学力を比較する指数として、より適切な数値は？ 国医東大の進学率が、各高校の進学力を表している？ 京一工の進学率が、各高校の進学力を表している？ 五帝の進学率が、各高校の進学力を表している？ 早慶私医の進学率が、各高校の進学力を表している？ ・・・・ 難関大進学力%と、各区分まで累積の相関関係を算出 各区分の進学率と、その区分までの累積進学率の相関を算出 例 五帝の相関は、五帝だけの進学率と五帝迄累積進学の相関係数 各区分までの２つの相関係数を比較して、より多くの区分で正の相関が強いのは？ ■累積進学率推計との相関係数 table { border-collapse: collapse…

[補正量を測定して補正値をマニュアル調整する] Bチャンネル再建法補正ツールは、今回、Ver. 4.7へのバージョンアップを機に、補正の難しい、ダメージの大きい画像や、青色部分に黄変が広がったフィルムの補正可能性を広げるため、エキスパートモードのパラメータ設定の柔軟性を高めることにしました。その中にマニュアルによる補正量の調整機能があります。 この機能は、従来、拡張疑似フラットフィールドアルゴリズム単独使用時のみ有効で、他のモードでは無効でした。これはどちらかというとアルゴリズムの効果を調べるための実験的なオプションだったためです。しかし、今回単独使用時のみならず、ハイブリッド動作時でも有効に…

IRTによる学力の測定が通常のテストと異なる点 あらかじめIRTで，よく使われる用語の困難度と識別力について説明しておきます。 困難度：項目の難易度のことです。通常のテストでは，正答率や得点率などにあたりますが，IRTでは，困難度は正答率のことではありません。 識別力：学力の差を，項目がどれだけ識別できているかを表す指標です。学力の低い受験者と高い受験者が同じくらいの正答率になってしまう項目は，学力の差を識別できないので，識別力が低い項目です。識別力が高いほうが一般的にはよいとされます。通常のテストではIT相関係数(項目の得点と合計点の相関係数)にあたります。IRTの識別力はIT相関係数ではあ…

こんにちは。株式会社 PHONE APPLI リサーチデベロップメント 森本と申します。 この記事では統計分析初学者の方に向けて、自分が勉強した分析手法を紹介します。 今回は、大切な概念である "相関" についてご紹介いたします。 はじめに 突然ですが、年収と早起きについて相関が見つかりました。 つまり年収が高い人ほど朝早く起きているということです！ このような話を聞いてあなたは早起きしてみたいと思いますか？ 早起きをして年収をあげたいと思った方は、もしかしたら注意が必要かもしれません。 なぜ注意が必要なのか、相関が見つかるとはどのようなことなのかを説明します。 データの関係について 相関関係…

どうも何度やっても全く満足な結果に至らないネガフィルムからスキャンしたカラー画像があります。これは、黄変除去の問題というよりは、元のスキャナの癖や補正の結果、色被りしてしまった画像の補正の問題です。それが下のケースです。 オリジナル 黄変しているのはもちろんですが、おそらくスキャナの過剰補正で青紫に寄っています。最近のBチャンネル再建法ツールの進化で、黄変や、周辺の情報抜けはかなり補正ができるようになりました。しかし、スキャナの過剰補正で全体的に青紫に寄ってしまった結果をどう修正しても、満足できるような結果ににほど遠く途方に暮れていました。 Bチャンネル再建法適用後状態 黄変自体はかなりきれい…

要約 ・IIDX SPのプレイ画面設定に関するアンケートを作成し700人弱の回答をいただきました。 ・その結果、段位・アリーナランクが上がるほど、緑数字が小さくなる相関関係を認めました。上下合計の白数字には同様の相関関係はありませんでした。 ・また、判定タイミング・目線位置で緑数字を調整して得られた、ノーツの視認から判定までの時間（以下、反応時間）について考えると、段位が上がるほど反応時間は大きくなる一方で、アリーナランクが上がるほど反応時間は小さくなりました。 ・このことから、プレイヤーが緑数字を減らすとき、クリア力を上げることが目的の場合は、判定タイミング・目線位置を調整することでノーツの…

【経営コンサルタントのお勧め図書】 真実と未来はデータから 「プーチンショック後の世界と日本」 「 経営コンサルタントがどのような本を、どのように読んでいるのかを教えてください」「経営コンサルタントのお勧めの本は？」という声をしばしばお聞きします。 日本経営士協会の経営士・コンサルタントの先生方が読んでいる書籍を、毎月第４火曜日にご紹介します。 昨今の世の中はきな臭さがいっそう強くなっていて、核の懸念すら現実味を帯びるほどです。 この時期に、世の中をどの様に見たら良いのか、判断に迷っている方も多いのではないでしょうか。 今後の「民主国家」VS「強権国家」の新冷戦の向かう道や、日本のみ中央銀行が…

統計学を真剣に学ぶ人のために、個人的にまとめているノートを公開する。 底本として新装改訂版 現代数理統計学作者:彰通, 竹村学術図書出版社Amazonを用いる。 前回 https://power-of-awareness.com/entry/2022/09/20/050000power-of-awareness.com 前回 8. 統計的仮説検定 8.4 具体的な検定問題 8.4.1 仮説検定法の分類一覧 8.5.14 代表値の差のWilcoxonの符号付順位和検定 8.5.15 代表値の差のKruskal-Wallis検定 8.5.16 代表値の差のFriedman検定 8.5.17 Spe…

以下の書籍経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者:竜義, 沖本朝倉書店Amazonを中心に時系列解析を勉強していきます。 前回 power-of-awareness.com 前回 8. GARCHモデル 8.2 GARCHモデル 8.2.3 GARCHモデルの統計的推測 8.2.4 GARCHモデルの選択と診断 8.3 多変量GARCHモデル 8.3.1 VECモデル 8.3.2 BEKKモデルとCCCモデル 8.4 相関変動モデル 8.4.1 DCCモデル 8.4.2 コピュラ 8.4.3 DCDモデル 8. GARCHモデル 8.2 GARCHモデル 8.2.3…

相関の傾向は、公私でどれほど異なるのか？ それとも概ね同傾向なのか？ 前の投稿の結論 東大国医10%前後までは、早慶私医と、正の相関がある 東大国医10%以上で、早慶私医は、負の相関となる？ 仮説 早慶私医の傾向は、公私とも共通である 公立高校とそれ以外（国私立+公立中高一貫校）に区分する 東大国医進学者率と、早慶私医率に関して集計する 相関係数を算出し比較する 散布図を作成し比較する ■東大国医（0～100%）と早慶私医 公立高校 100%未満：相関係数0.63： y = 1.227x + 8.0741 R² = 0.3716 *16％未満：相関係数0.60： y = 1.1367x + 7…