統計的機械学習の基礎

勾配ブースティングについて勉強している過程で、「統計的機械学習の基礎」の10.9節を読みました。本節は、数式も多く理解に時間がかかりました。再度本節を読んだときに、すっと頭に入ってくるように記事にまとめておきたいと思います。 本記事のサマリ 本記事では、10.9節のサマリと（10.32）式の導出方法を記載します。また、補足的に決定木の場合、なぜが推定できるのかについても述べたいと思います。なお、本記事の数式中に現れる文字の説明はしません。適宜、原本をご覧ください。 統計的学習の基礎 ―データマイニング・推論・予測―作者:Trevor Hastie,Robert Tibshirani,Jerom…

サマリ AdaBoostについて勉強しています。本記事では、AdaBoostを実装する際に躓いたポイントを備忘録的に残しておこうと思います。本記事のサマリは下記です。 二値分類問題用のトイデータを作成した。 スクラッチ実装したAdaBoostを使い、上記のトイデータにおける二値分類問題を解いてみた。スクラッチ実装したAdaBoostのクラスは、AdaBoostHandmadeとした。 当初、全ての弱分類器が同じになってしまうという課題が発生した。原因は、弱分類器としてscikit-learnのDecisionTreeClassifierのインスタンスをAdaBoostHandmadeに渡してい…

サマリ 過去の記事で、AdaBoostのアルゴリズムをざっくり説明しました。 aisinkakura-datascientist.hatenablog.com 本記事は、下記のトピックについて書いていこうと思います。 AdaBoostは前向き段階的加法的モデリングを用いて、指数損失の最小化問題を解くことと同値的である。 前向き段階的加法的モデリングとは、基底関数展開に対する損失関数を近似的に最小化するアルゴリズムである。 基底関数展開とは、で表現される関数のことである。 指数損失とは、 で表現される損失関数のことである。 なお、本記事では、上記サマリの細かい箇所から説明していこうと思います。つ…

サマリ 本記事は、分類問題を解くための機械学習手法の一つであるAdaBoostについて解説した記事です。AdaBoostとは、機械学習の手法の中でもブースティングに分類される手法です。 ブースティングとは、次の2段階からなるアルゴリズムです。 前に学習した分類器を基に、より良い分類器を作成し、多数の分類器を作成する。 作成した多数の分類器の合議を取り、分類を行う。 AdaBoostは、「前向き段階的加法的モデリング」において指数損失を最小化する問題と同値的であることが、AdaBoostが提案された5年後に発見されました。 本記事では、AdaBoostのアルゴリズムについて説明したいと思います。…