勾配ブースティング木

今回は Gradient Boosting Tree（勾配ブースティング木）を試してみる。 【目次】 Pythonでの実装コード SASでの実装コード SASでお試し（対象データ、データ加工） SASでお試し（モデル作成） SASでお試し（モデル評価） 参考 決定木を学習器としたアンサンブル学習であり、ブースティングと言われる手法。 ※XGBoost ではないのであしからず。 Pythonでの実装コード Pythonでは scikit learn で実装できる。 sklearn.ensemble.GradientBoostingClassifier — scikit-learn 0.24.2 …

NTTドコモ Advent Calendar 2024 10日目、Kaggle Advent Calendar 2024の12日目の記事です。 はじめに NTTドコモ クロステック開発部 鈴木明作です！ こちらの記事では、地理空間分野のトップカンファレンスであるSIGSPATIAL 2024（シグスペーシャル）のワークショップとして開催された、人間の移動予測コンペHumob 2024（ヒューモブ） の上位3チーム解法を紹介します。 ドコモもHumob 2024に参加しており、ドコモの3位入賞解法 & アメリカ現地参加の様子は、別記事にありますのでそちらを参照ください。 国内外のデータ分析コンペ…

はじめに SHAPの基礎理論 決定木系モデルに対するSHAPの理論 その他のモデルに対するSHAPの理論 発展的なSHAPの理論 Causal SHAP Causal SHAPの現存するライブラリに関して 時系列SHAP 最後に はじめに 機械学習モデルの解釈性への需要が高まる中、SHAP（SHapley Additive exPlanations）は特に注目を集めている手法です。モデルのブラックボックス性を解消し、各特徴量の予測への寄与を定量的に評価できる点が、実務での意思決定において重要な役割を果たしています。理論的な裏付けも強固で、ゲーム理論のShapley値を基礎としている点も、多くの…

はじめに 製造業におけるデータ分析において，時系列分析は重要かつ頻出課題の１つである。時系列分析の理論とPythonによる実装の両方を学ぶために，最近注目を集めている馬場真哉 著 「Pythonではじめる時系列分析入門」を読むことにした。本記事は，第6部「機械学習法」の第2章「ニューラルネットワークと深層学習」の読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 第6部 第2章 ニューラルネットワークと深層学習 2.1 ニューラルネットワーク 2.2 パラメータ推定における工夫 2.4 深層学習と時系列分析 2.5 リカレントニューラルネットワーク(RNN…

本記事について 機械学習システム設計の面接対策本である「Machine Learning System Design Interview」を読んだ時の読書メモです。 本書についての紹介記事は以下となってます。 nsakki55.hatenablog.com 本書の公式HP bytebytego.com 1. Introduction and Overview MLシステムデザインを行うためのフレームワークを作成 Clarifying requirements Framing the problem as an ML task Data preparation Model deployment …

決定木ベースのアルゴリズムは機械学習の中で重要な位置を占めており、多くのライブラリが開発されています。以下に主要な決定木ライブラリの特徴と前処理要件をまとめます。 1. 主要な決定木ライブラリの特徴 ライブラリ 主な特徴 アルゴリズム 言語 scikit-learn 汎用ML、使いやすさ 決定木、ランダムフォレスト、勾配ブースティング Python XGBoost 高速、高性能 勾配ブースティング 多言語対応 LightGBM 軽量、高速 勾配ブースティング C++, Python, R CatBoost カテゴリカル変数に強い 勾配ブースティング C++, Python, R H2O 分散処…

G検定を受けるにあたり、用語を整理する。自分の学習用である。 あ～ アンサンブル学習 バギング ブースティング スタッキング オートエンコーダ 変分オートエンコーダ（VAE） オントロジー か～ カーネルトリック 画像セグメンテーション セマンティックセグメンテーション インスタンスセグメンテーション パノプティックセグメンテーション 機械学習 教師あり学習 分類 回帰 教師なし学習 強化学習 エージェント 環境 状態 行動 報酬 Q学習 Sarsa モンテカルロ法 クラスタリング 階層クラスタリング 非階層クラスタリング ハードなクラスタリング ソフトなクラスタリング 交差検証 ホールド・ア…