単回帰分析

回帰分析とは？ ある目的変数 と説明変数 の関係性を明らかにする統計手法です。 単回帰、重回帰、ロジスティック回帰、主成分回帰、部分的最小二乗回帰などさまざまな種類があります。 この記事では単回帰分析に関してまとめてみます。 単回帰分析とは？ ある目的変数 を一つの説明変数 で表す式を求めることです。 例えば、身長と体重の関係。年齢と年収の関係などが、下記の式で近似できると仮定した時に、最適なパラメータ , を求めます。 最適なパラメータとは？ 「最適」とはどんなものになるでしょうか？下のようなデータを考えてみます。 このデータに対して における , をそれぞれ変えると下記の通りさまざまな直線…

キカガク「Python＆機械学習入門」〜単回帰分析の実装編〜 Python速習が終わり、単回帰分析の実装まで辿り着きました！ やった！ 前回学んだPythonを使いながら、サンプルデータを用いて単回帰分析を行なっていきます。 キカガク「Python＆機械学習入門」の単回帰分析の実装、何をするのか 最終的には、家の広さを入力すると、家賃の予測値が返ってくるようにします。 すごーい。 受講スタイルは引き続き、話を聞きつつ手を動かすタイプです。 単回帰分析に必要な手順を学びつつ、必要なライブラリの使い方も覚える。 という感じ。 動画の見出しは以下の通り。 NumPy 速習 Pandas / Matp…

単回帰分析もまずは散布図を描くことから始める！ 単回帰分析を実施！ 決定済み係数の大小はあまり問題ではない？？ 単回帰分析もまずは散布図を描くことから始める！ 前々回、前回と相関分析を取り扱いましたが、今回は単回帰分析を用いてHRの課題に取り組みたいと思います。 お題は以下の通りです。 組織構造にとらわれずに人や情報を結び付けるような振る舞いを行うことで、その人のイノベーションを起こす力にどう影響があるのでしょうか？ イノベーションは、新しい情報と情報のぶつかり合いから始まるというようなことはよく言われることです。 組織の壁を越えてネットワークや情報を広げるような人はイノベーション力の高い人な…

最小二乗法というのはよく出来ているなあと改めて感じた。 田辺俊介。回帰分析の基礎。簡単に説明すれば、独立変数を利用して従属変数がどれだけ説明されるか、予測可能かを。今回は単回帰分析という簡単なもの。2つの連続変数を。従属変数と独立変数を。独立変数を1つだけ用いることで重回帰分析と対比して。回帰分析という統計手法。連続変数同士の関係を。席率相関変数と対比。独立変数から従属変数を予測説明。予測とはどのような形で？基本的には数式で。式の中身を詳しく。左辺のYに山形の記号。ハット。ワイハット、Yの予測値。式の右側。定数。独立変数Xの値が0。回帰係数。独立変数Xの値が1増加した時にYの変化量。独立変数の…

はじめに さて、前々回記事で分割時系列解析、分割時系列デザイン(Interrupted Time Series Analysis : ITS, ITSA)について解説したばかり（5ヶ月前）ですね。当該記事で2週間後には書くと言った気もしますが。。。 syleir.hatenablog.com 今日はこれをPythonで実装してみたいと思います。 この図を書くのが今日の目標です。 調べてみたところ該当する記事は見当たらなかったので参考にしてください。独力で実装したので改善点、誤りなどあれば教えてください。全実装はページの一番下にあります。目次からもジャンプできます。 もくじ はじめに もくじ 0…

今回はslopeとintercept関数の紹介。 ご存じの方も多いだろうが、これなしでエクセルの解析はほぼ不可能なので説明しておく。 エクセルでグラフを書くと近所曲線の追加、数式の表示で、回帰直線の数式が表される。 slopeとInterceptを使えばこの傾きの切片を求めることができる。 なんでそんなに重要かというと、これを使えばグラフの内挿や外挿がデータから自動で算出できる。 いちいちグラフを作らなくてもデータから自動で予測値を計算できるようになる。その予測値を使ってデータの規格化も出来るので、使い慣れると非常に便利だ。最小二乗法を使った単回帰分析そのものなので、複雑な回帰分析もある意味で…

今はやりのベイズ推定。pythonだとpyMC3やCmdstanpyがライブラリとして準備されている。ただ、Stanの書き方はベクトルや行列になじみがないと結構難しい。 毎回調べながら書いているのだが、一度ちゃんと調べてまとめておきたい。 使用するデータ 色んな記事に使っているこのデータを今回も使用することにする。 (説明変数) 1 2 3 4 5 （被説明変数） 2 6 6 9 6 下のグラフには最小二乗法で求めた回帰直線も載せている。これがStanでベイズ推定でどうなるかを見ていくことにする。 pythonコード 使用したpythonコードはこちら。「test_1.stan」の中身を解説し…

今まで自分が統計を学習する過程で読んできた本を紹介しようかと思う。 とにかく私は学生自体から数学が苦手で、微分積分行列あたりはもうほとんど忘れてしまった。そんな私が統計を勉強する上で重要にしていたのは 「直感的に分かりやすいこと」 「数式があまり出て来ないこと」 という二点で、統計理論を正確に理解する事よりも、統計手法を使う上で必要な概念を勉強する上でおすすめの本を紹介したい。 統計検定の内容を理解する上で勉強になったのがこの本。 分散分析と実験計画法 これで納得!即実践! (function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=a; b[a]=b[…

共分散 共分散とは、2つの確率変数の関係を表す統計量です。共分散の公式は以下の通りです。 共分散（Cov）＝Σ（Xi-X）（Yi-Y）/n ここで、Xiは確率変数Xのi番目の観測値、Yiは確率変数Yのi番目の観測値、Xは確率変数Xの平均値、Yは確率変数Yの平均値、nは観測値の数です。 相関係数 相関係数とは、2つの変数の関係を表す数値です。2つの変数の関係が強いほど、相関係数は1に近づきます。逆に、2つの変数の関係が弱いほど、相関係数は0に近づきます。 相関係数を表す公式は、以下の通りです。 r = ∑(x - x̄)(y - ȳ) / √(∑(x - x̄)^2 ∑(y - ȳ)^2) ここ…

回帰とは 回帰分析と重回帰分析 単回帰式における係数(重み)の求め方 コラム：残差と誤差について まとめ 回帰とは 回帰とは、目的変数について説明変数を使った式で表すこという。 この式のことを回帰方程式、あるいは簡単に回帰式という。また回帰式を求めることを回帰分析という。 回帰式というと、おおよそ1次関数(、は切片、は傾き)をイメージされるかもしれませんが、実は1次関数だけではなく、2次関数や3次関数なども回帰式として求めることが可能です。 回帰分析と重回帰分析 回帰分析（単回帰分析）は説明変数が一つのもの(など)を求めることを言います。ちなみに、説明変数が一つであればいいので、やを求めること…

自然科学の統計学２章：章末問題回答 求められる知識 やるべき章末問題 この章で思うこと 2.1&2.2 2.3&2.4 2.5 2.6 2.7 2.8 2.9 2.10 自然科学の統計学２章：章末問題回答 求められる知識 正規方程式の導出 単回帰式の導出 回帰係数の分布を求める 回帰係数の信頼区間を求める 残差平方和（推定誤差２乗和）の分布 残差平方和（推定誤差２乗和）をもと誤差分散を推定する 与えられたｘに対する、ｙの推定値の計算。推定値の信頼区間 モデルに変数を追加した際の残差平方和（推定誤差２乗和）の変化率がF分布に従うこと やるべき章末問題 問2.1~2.3は難しくないが、やる必要はそ…

統計学が最強の学問である[実践編]――データ分析のための思想と方法 作者:西内 啓 ダイヤモンド社 Amazon 異例のベストセラーの著者が贈る最良の実践入門。『統計学が最強の学問である』では概略の紹介に留めた統計手法の「使い方」を解説する。統計学や数学の歴史的なエピソードも楽しみながら、「平均」や「割合」といった基礎知識から、「重回帰分析」のようなハードルの高い手法までを本質的に理解することができる。 目次序章 ビジネスと統計学を繋ぐために 01 ビジネスと統計学のギャップなはぜ存在するのか 『統計学が最強の学問である』とはどのような本だったのか／ 続編である本書を書いたわけ／なぜ、良い統計…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,697件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,681件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,681件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥27,800 → ¥1,900 93%OFF!! ⭐ ⭐ ⭐ ⭐ （19,666件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,800 → ¥1,800 …