線形回帰

リッジ回帰（Ridge Regression）とは リッジ回帰で値を予測するPythonの実装 コードの解説 1. 使用するライブラリのインポート 2. 仮データの準備 3. データの分割: 4. リッジ回帰モデルの作成と学習 5. モデルの評価 リッジ回帰の利用が向いている領域 1. 金融分野 2. 医療分野 3. マーケティング分野 4. 気象予測 5. エネルギー分野 まとめ リッジ回帰（Ridge Regression）とは リッジ回帰は、線形回帰の一種であり、特に多重共線性（複数の説明変数が強く相関している場合）があるデータセットに対して有効です。例えば、家の価格を予測するときに、部…

導入 機械学習の基本的な手法を色々試したいと思い、学習の記録として記事にすることにしました。 難しいことはほとんどせず、解説も少なめですが、ついでに学習中の誰かの助けになればと思います。 今回は、scikit-learnを使って、最も簡単な回帰である線形回帰を試していきます。 jupyter notebook(.ipynb)を使用して学習しているので、データの出力にprint()を明記していないことがあります。お手元で動作させる場合は、適宜読み替えていただくか、同じく.ipynbで実行してください。 データの読みこみ まずは、今回使うデータの読み込みです。 scikit-learnから読み込め…

（一般化）線形回帰モデルを実務で使うことも多く、頭の中にケーススタディを大量にインプットするためこちらの本を読んでいます。 https://www.amazon.co.jp/Regression-Stories-Analytical-Methods-Research/dp/110702398X 少し高いですが、無料でPDFも公開されているので安心です（私はペーパーバック購入しました。）回帰モデルを実務で使う際の注意点など、実務家観点で多くのケーススタディが載っています。実際のデータでは、回帰モデルの仮定を満たすような綺麗なデータの方が珍しく、現場で培われてきたノウハウを知りたい！という人には適…

実務では線形回帰ばかりを使っているのに、きちんと勉強したことないのでいろいろと調べてた。 Twitterで観測する強い方達は大体佐和本を薦めてる。これを読め！！って話なんだろうけど、きちんと読んだ人どれくらいいるのだろう。。私には敷居が高かった。 ネットサーフィンしてたら素敵な記事を発見。 speakerdeck.com 線形回帰って、予測の文脈でも出てくるし効果検証の文脈でも出てくるしよくわからない状態だったのだけど、この記事でかなり頭の中が整理された。 線形回帰はもちろん同じ式の形をしているのだが、使う目的によって解釈が違ってくるという話が丁寧にされていた。 つまり、全く同じ見た目をしてい…

前提知識 ・最小二乗法 ・特異値分解(SVD) Notation $\mathbb{R}^{a\times b}$: $a\times b$ の実行列 $\text{span}(A)$: $A$の列ベクトルが張るベクトル空間 $\displaystyle A\cdot B:=\sum\text{diag}(A^T B)=\sum_{i,j}a_{ij}b_{ij}$$\|A\|:=\sqrt{A\cdot A}$ 縮小ランク回帰とは 独立変数が$p$個, 従属変数が$q$個の場合の線形回帰において, 損失関数$L(B):=\| Y-XB\|^2$を最小化する$B\in\mathbb{R}^{p…

こんにちは！こーたろーです。 機械学習の基礎トレーニングを暫くやっていなかったので、基礎トレーニングも交えながらやっていきます 今回は、回帰の問題を解いていきます。 身近にある気象データから自分の住んでいるエリアの気温予測を行ってみました。 scikit-learnのLinearRegressionを使うのは1年ぶりぐらいです。 早速やっていきましょう！ 必要データのダウンロード データの確認 データの調査 データの前処理 モデルの作成（LinearRegression） モデルの評価

線形回帰を自前実装 クラスの仕様は大体sklearnに合わせています。 ポイントはxに1の列を加えているところです。 # 線形回帰クラス class LinearRegression: def __init__(self): pass def fit(self, x, t): X = self._add_ones(x) self.w = np.linalg.inv(X.T @ X) @ X.T @ t def predict(self, x): X = self._add_ones(x) return X @ self.w def score(self, x, t): t_pred = sel…

この記事は Mackerel Advent Calendar 2024 の 9 日目の記事です。 普段使いのモバイル回線は docomo というか irumo なんですが、自宅から離れて生活するとギガを使い切って買い足す日々を送っています。 11 月は 3 GB 買い足した データ通信量ってなんか上手いことアラート出せないですよね。2GB 使った後に「使ってるよ」って言われても困る。というわけで Mackerel で監視するようにしました。 まずはブラウザから https://irumo.docomo.ne.jp/ を触って Developer Tools の Network タブを眺める。 …

はじめに SHAPの基礎理論 決定木系モデルに対するSHAPの理論 その他のモデルに対するSHAPの理論 発展的なSHAPの理論 Causal SHAP Causal SHAPの現存するライブラリに関して 時系列SHAP 最後に はじめに 機械学習モデルの解釈性への需要が高まる中、SHAP（SHapley Additive exPlanations）は特に注目を集めている手法です。モデルのブラックボックス性を解消し、各特徴量の予測への寄与を定量的に評価できる点が、実務での意思決定において重要な役割を果たしています。理論的な裏付けも強固で、ゲーム理論のShapley値を基礎としている点も、多くの…

はじめに Pythonによるベイズモデルの実装をきちんと学ぼうと思い，森賀新・木田悠歩・須山敦志 著 「Pythonではじめるベイズ機械学習入門」を読むことにした。本記事は，第3章「回帰モデル」のうち一般化線形モデル(ポアソン回帰モデル)に関する読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 3.3 一般化線形モデル : ポアソン回帰モデル 3.3.1. モデル概要 3.3.2. 実装 データの準備 PyMCライブラリのインポート モデルの定義 MCMCによる事後分布からのサンプリング 予測分布の算出 まとめと感想 参考サイト 3.3 一般化線形モデル…

はじめに Pythonによるベイズモデルの実装をきちんと学ぼうと思い，森賀新・木田悠歩・須山敦志 著 「Pythonではじめるベイズ機械学習入門」を読むことにした。本記事は，第3章「回帰モデル」のうち線形回帰モデルに関する読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 3.1 線形回帰モデル : 線形単回帰モデル 3.1.1. モデル概要 3.1.2. 実装 データの準備 PyMCライブラリのインポート モデルの定義 MCMCによる事後分布からのサンプリング 予測分布の算出 3.2 線形回帰モデル : 線形重回帰モデル 3.2.1. モデル概要 3.2…

はじめに 本書は，岩波書店「統計科学のフロンティア」シリーズ(全12巻)の第4巻である。初版発行は2004年であり，当時最先端だった統計科学の話題を，第一人者の先生方がコンパクトにまとめているというものである。第4巻「階層ベイズモデルとその周辺―時系列・画像・認知への応用―」は3部+補論の構成となっており，以下のような章立てになっている。 第I部 事前情報を利用した複雑な系の解析 (石黒真木夫) 第II部 非線形ダイナミカルシステムの再構成と予測 (松本隆) 第III部 視覚計算とマルコフ確率場 (乾敏郎) 補論 帰納推論と経験ベイズ法―逆問題の処理をめぐって― (田邉國士) 本記事は，第II…

Video-based lecture engagement in a flipped classroom environment Raquel Gutiérrez-González, Alvaro Zamarron & Ana Royuela BMC Medical Education volume 24, Article number: 1218 (2024) bmcmededuc.biomedcentral.com 目的反転授業環境におけるビデオベースの講義への学生の関与と参加に関連する要因を分析すること。 方法学部医学教育におけるビデオ講義の単一施設での経験について述べる。 この活動は…

こんにちは、kamokobuです。 今年は全国的に米不足が深刻化しており、 私たちのビジネスにも大きな影響を及ぼしています。 スーパーに行っても棚が空っぽ、手に入るはずのものが手に入らない状況が続く中、 私たちが直面している最大の課題は、次の収穫期までの 安定供給をどう確保するかです。 そこで今回は、販売データを最大限に活用し、 機械学習を使った販売予測モデルを作ってみました。 このモデルは、当社の米在庫がいつ尽きるのかを予測し、 供給リスクを最小化することを目指しています。 今年の米不足は、異常気象で全国的に生産量が減少した上に、 為替の変動によるインバウンド米需要の大幅増加したことが原因と…

今週やったこと 帳票出力処理の実装 Webアプリケーションで登録したデータを帳票としてPDF出力する機能を実装しました。

論文タイトル 題名 文献 背景 方法 結果 結論 日本での状況 意見 おまけ 論文タイトル 肺がん術後の患者の⾝体活動を促進するためのウェアラブルデバイスの介⼊ 題名 Wearable Device–Based Intervention for Promoting Patient Physical Activity After Lung Cancer Surgery A Nonrandomized Clinical Trial 筆頭著者 Junghee Lee, MD 文献 JAMA Netw Open. 2024;7(9):e2434180. doi:10.1001/jamanetworko…

Bing Image Creator で生成: Close up of Tulip flowers, background is blue sky and white clouds, photo www.crosshyou.info の続きです。 今回は、R の FNN パッケージを使って、k-Nearest Neighbors で予測してみます。 そうしたら、knn.reg() 関数を使って予測します。 予測値を df_results データフレームに追加します。 7 番目、9 番目、10 番目の予測値は、線形回帰モデルで予測した値よりも実際の値に近いですね。 予測値と実際の値のグラフを描い…

Bing Image Creator で生成: Close up of Paeonia suffruticosa flowers, background is Orion stars www.crosshyou.info の続きです。前回は、データフレームをトレーニング用とテスト用に分けました。それではいよいよモデルを作って予測してみましょう。 まずはじめは、線形回帰モデル、Linear Regression でやってみます。 R で線形回帰するには、lm() 関数ですね。 step() 関数であまり重要でない変数をなくします。 summary() 関数で出来上がったモデルを確認します。 20…

タイトル：サウジアラビアにおけるディスレクシアをもつ子どもたちの内向的および外向的症状のコア症状のネットワーク分析。 タイトル：長期メチルフェニデート使用後の臨床実践に組み込まれたN=1ランダム化、二重盲検、プラセボ対照、クロスオーバー中止試験の結果：パイロット調査 Pediatric Bipolar Disorder: Challenges in Diagnosis and Treatment タイトル: ADHDを持つ薬剤未使用の子どもたちにおける動的な機能的アーキテクチャの異常な安定性。 タイトル: タイトル: 発達障害の雑多なコホートにおける感覚処理のサブタイプは異なる感情的・行動的フ…