決定木

今回はPythonを使って、決定木・ランダムフォレストを実装するやり方を紹介します！ まえがき 決定木・ランダムフォレストともにPythonの scikit-learn というライブラリで簡単に実装することができます！ 今回は簡単のために、scikit-learn に内包されている iris というデータ（アヤメという花の花弁の長さや広さとそのアヤメの種類のデータ）を用いて実装します。 データ準備 irisのデータを読み込みます。 from sklearn.datasets import load_iris iris = load_iris() 簡単ですね。これでアヤメのデータが読み込まれまし…

概要 参考書籍 DecisionTree (決定木) 決定木の特徴 データのばらつき...？ 回帰の場合 決定木のメリット・デメリット メリット デメリット RandomForest (ランダムフォレスト) アンサンブル手法 バギング ブースティング ランダム...？ データのランダム性 分割条件に使用できる特徴量のランダム性 多重共線性 あとがき 概要 最近の機械学習コンペではもっぱらXGBoostやLightGBMが使われることが多いみたいなので、今回はその基本となる DecisionTree や RandomForest をまとめていきます！ 参考書籍 以下の書籍を参考にさせていただきま…

この記事は慶應理工アドベントカレンダー2021の18日目の記事です. 昨日の記事はこちら. ainnooo.hatenablog.com アドカレに誘ってくださった @ainnoooさんがほんわかタイトルの記事書いてます. ちゃんとソケットあたりのコード読んでてすごい. はじめに 本記事の目的 決定木とは 問いを整理する 不純度: 「如何に分割するか？」 木を成長させてみよう 木の剪定 動かしてみよう iris以外のデータでも試してみよう. おわりに はじめに 改めまして. 研究室配属が決まって一安心しているJ科B3のYuWdです. 久しぶりに何か書いてみようということでアドカレに登録したもの…

Kaggleに登録してみたので備忘録を。 初心者ということもあり、まずは王道のタイタニックデータを使った分析をしてみた。 データの前処理 データはKaggle内にあり、TrainとTestにあらかじめ分けられている。 生存有無を予測する２値分類問題であり有名なデータ。 import numpy as np import pandas as pd from scipy import stats #-- import train = pd.read_csv("../input/titanic/train.csv") test = pd.read_csv("../input/titanic/test…

決定木（Decision Tree）とランダムフォレスト（Random Forest）について。 【目次】 決定木（Decision Tree） 情報利得（Information gain） 不純度（Impurity Criterion） 分析例 決定木の応用 ランダムフォレスト（Random Forest） ランダムフォレストの流れ wineデータを使った分析例 参考 決定木（Decision Tree） 分類問題、回帰問題の両方に対応でき、それぞれ「分類木」「回帰木」と呼ばれる。 決定木は、分割前後の不純度の差（情報利得）が最大になるように学習する。 Python 基本コード from s…

import matplotlib.pyplot as plt from sklearn import datasets, tree from sklearn.metrics import accuracy_score, confusion_matrix from sklearn.metrics import precision_score, recall_score, f1_score # digitsデータをロード digits = datasets.load_digits() # 画像を 2 行 5 列に表示 for label, img in zip(digits.target[:10…

どうも、かわばっちゃんです。 今回は、決定木を説明します。 決定木とは 分類や推論に使う一つの手法です。 決定木はトーナメント表のような形で、分類や推論を行います。 ただし、トーナメントは下から上に向かっていき、数がどんどん減って行きますが、決定木は逆です。 上から下に向かっていき、二股にどんどん別れていく構造です。 ある条件において、YesかNoで枝分かれし、さらに、次の条件でYesかNoに分けていき、どんどん細分化していくんです。 サポートベクターマシンとの違い サポートベクターマシンは分類をする際、異なる種類の最適な境界線を引く形です。 決定木は分岐の数だけ線を線を引いていく形です。 イ…