Boruta

変数選択は精度の高い予測モデルの構築において非常に重要といえる。本記事では、変数選択手法の一つであるBorutaについてまとめた。 Borutaについて 詳しい手順 pパーセンタイルについて pパーセンタイルの設定方法 pythonでの実装 準備 データの取得 モジュールのインストール 解析諸条件 コード モジュールインポート〜データの準備 データの分割〜borutaによる変数選択 予測と精度検証 結果まとめ 参考 Borutaについて ランダムフォレスト（RF）の変数重要度に基づく変数選択方法 目的変数と関係のない適当な特徴量（shadow features）と、オリジナル変数の重要度を比較…

変数選択は精度の高い予測モデルの構築において非常に重要といえる。本記事では、変数選択手法の一つであるBorutaについてまとめた。 Borutaについて 詳しい手順 pパーセンタイルについて pパーセンタイルの設定方法 pythonでの実装 準備 データの取得 モジュールのインストール 解析諸条件 コード モジュールインポート〜データの準備 データの分割〜borutaによる変数選択 予測と精度検証 結果まとめ 参考 Borutaについて ランダムフォレスト（RF）の変数重要度に基づく変数選択方法 目的変数と関係のない適当な特徴量（shadow features）と、オリジナル変数の重要度を比較…

LightGBMのfeature_fractionは重要度に影響与えるよ〜という話を聞いたので実験。テストデータはkaggleのHousePricesをお借りする。 feature_fractionとは ・LightGBM will randomly select part of features on each iteration (tree) if feature_fraction smaller than 1.0. For example, if you set it to 0.8, LightGBM will select 80% of features before training…

マテリアルズインフォマティクス に関する企業の技術レポート・解析内容を再現する。 はじめに 技術レポート内容 ベイズ最適化について3 *データ駆動型の材料開発における課題 目的 諸条件 データ 変数作成 前処理 変数選択 解析手法 解析の流れ コード 前準備）モジュールのインストール モジュールインポート データセットの準備 logS t-SNEによる可視化 いざ検証 結果の可視化 描画t-SNE を使ってプロットを二次元に写す 予測と検証のサイクルを可視化してみる 結果 ランダムに次の化合物を指定した場合 単純に予測値（の平均）が高い化合物を指定した場合 （EIが最も高い化合物を指定した場合…

第4回目となる富士フイルム主催データ分析コンペ（Brain(s)）に参加したので、忘れないうちに細々したことを記録しておこうと思います。 本やらウェブテキストやらでデータ分析の勉強しただけで実践はまだだったのですが、Kaggleは画像コンペばっかでとっつき辛いし、ツヨツヨデータサイエンティストとまともに戦える気もしませんでした。 そんなとき学生限定*1の富士フイルムテーブルコンペを知って参加しました。 コンペはathleticsというプログラミングスキルチャレンジプラットフォームで行われました。 エンジニア用の就活用コーディングテストみたいな側面もあるらしく、競プロに近いチャレンジから分析系チ…