Hatena Blog Tags
はてなブログ トップ
不均衡データ
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

不均衡データ

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
エビデンスで教育を考えた•2ヶ月前

データサイエンティスト必見！不均衡データの確認と補正方法を徹底解説

カラムがあったらとりあえず件数をカウントしておきたくなるのがデータサイエンティストの人情。以前にもデータが不均衡だったせいでクロスバリデーションが上手くいかずに痛い目を見た経験があります。※ そんなこんなもあって不均衡は見ておきたいので確認していきましょうというお話です。 まずカウント 何はともあれ不均衡であることを確認します。 import matplotlib.pyplot as plt df = clens_train.copy() # 適切なデータフレーム名に置き換えてください # 選択したカラムを指定 selected_columns = ['Gender'] # 適切なカラム名に置…

#データサイエンス#不均衡データ#オーバーサンプリング#アンダーサンプリング#機械学習#データ分析

関連ブログ

よっしーの私的空間•3年前

機械学習における不均衡データへの対処方法（Over Sampling, Under Sampling）

機械学習における不均衡データへの対処方法としてアンダーサンプリングやオーバーサンプリングについてまとめます。不均衡データとは目的変数のクラスの度数が極端に偏っているデータのことです。今回はKaggleで公開されている「Credit Card Fraud Detection」のデータセットを使用して以下の手法を試してみます。 Random Under Sampling Random Over Sampling SMOTE 「Credit Card Fraud Detection」の目的変数の各クラスの度数は以下の通り。偏りが発生していることが分かります。 １．何も対策せずに機械学習させるとどうな…

#SMOTE#不均衡データ#imbalanced dataset#機械学習
ランドML•1ヶ月前

Python 交差検証の実装(KFoldとStratifiedKFold)

KFold・StratifiedKFoldの違い 準備 データの読み込み KFoldの使い方 データの抽出 データをシャッフルしない場合 データをシャッフルする場合 StratifiedKFoldの使い方 データの抽出 データをシャッフルしない場合 データをシャッフルする場合 KFold・StratifiedKFoldの違い どちらもデータをk個に分割する交差検証をするためのものですが、 KFold：データを任意にk分割 StratifiedKFold：クラスに偏りが出ないように分割するため、不均衡データなどに向いている という違いがあります。 準備 今回はseabornのtitanicデータ…

せりの備忘録•1ヶ月前

SIGNATE Cup 2024 夏 旅行パッケージ成約率予測 Bronze Solution

はじめに こんにちは、データサイエンティストをしているせりです。 2024/8/1~2024/09/01の期間に行われた「SIGNATE Cup 2024 夏」の旅行パッケージ成約率予測コンペ において、まだ確定ではないですが72位となり、銅メダルを獲得することが出来ました。 また、これによりSIGNATE Expertへ昇格しました！ 72位で銅メダルでした！(チーム名は恥ずかしいので省略) この記事では、そのBest solutionと戦略、他に検証した手法について紹介したいと思います。 コンペ概要 このコンペは、旅行会社が保有する顧客データを元に、旅行パッケージの成約率を予測することが目…

肉球でキーボード•2ヶ月前

「Machine Learning System Design Interview」読書メモ

本記事について 機械学習システム設計の面接対策本である「Machine Learning System Design Interview」を読んだ時の読書メモです。 本書についての紹介記事は以下となってます。 nsakki55.hatenablog.com 本書の公式HP bytebytego.com 1. Introduction and Overview MLシステムデザインを行うためのフレームワークを作成 Clarifying requirements Framing the problem as an ML task Data preparation Model deployment …

LIVESENSE Data Analytics Blog•5ヶ月前

線形回帰のギブスサンプリング - Bayesian Factorization Machinesのバイアス項の実装 -

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回から何回かに渡ってBayesian Factorization Machines（BFM）関連の記事を書いていこうと思います。まずは、基本となる連続値を目的変数としたBFMのギブスサンプリング実装について、3回に分けて説明します。BFMの技術要素は、(1)線形モデルのギブスサンプリング、(2)階層ベイズ、(3)交互作用項の高速計算から成り立っており、それぞれバイアス項、ハイパーパラメータ、交互作用項の実装に対応しています。今回はその中の(1)を扱います。コードはJuliaです。なお、本記事は、協調フィルタリング用Factor…

ZOZO TECH BLOG•9ヶ月前

クーポン推薦モデルとシステム改善の取り組み

はじめに ML・データ部推薦基盤ブロックの佐藤（@rayuron）です。私たちはZOZOTOWNのパーソナライズを実現するために、機械学習モデルとシステムを開発・運用しています。本記事ではクーポン推薦のための機械学習モデルとシステム改善に取り組んだ話を紹介します。 はじめに 背景 課題 1. 古い基盤でシステムが運用されている 2. KPIに改善の余地がある 3. 機械学習モデルの評価体制がない 課題解決のために 1. Vertex AI Pipelinesへの移行 2. Two-Stage Recommenderの導入 プロジェクトへの導入 Candidate Generation 1. 過…

アカデミックと実務をつなぐ•10ヶ月前

監査データサイエンス研究の実務応用を考える

こんにちはのろのろでございます。こちらは、会計系Advent Calendarの12月6日分として書いています。記事の内容は監査におけるデータサイエンスの応用研究を調査し、実務的な応用を考えながらまとめたものです。いろいろ手を出しすぎて発散しております。 1 監査データサイエンス デジタル化が進展し、企業データは財務報告と切り離せない存在になりつつあります。会計監査ではデータサイエンスの手法を応用できる場面が増えてきています。 図1 会計分野におけるデータマイニング研究。括弧内の数値は文献数です。（出典: Amani and Fadlalla. International Journal of…

Insight Edge Tech Blog•1年前

クラス間不均衡問題への対処でビジネスコストを考慮する必要はあるか?

こんにちは! 分析チームの梶原(悠)です。今回はクラス間不均衡問題について議論します。 目次 クラス間不均衡問題とは 問題の定式化にまつわる議論 比較シミュレーションの設定 比較シミュレーションの結果 考察 クラス間不均衡問題とは 実務で扱われる多くの分類問題はクラス間のサイズに偏りがあります。 いくつかのクラスのデータが他のクラスよりも著しく多いとき、分類器は小さなクラスを無視しやすくなります。 これは、クラス間不均衡問題と呼ばれます。 問題の定式化にまつわる議論 クラス間不均衡問題は、「分類問題の構造の複雑さ」「訓練データの大きさ」「クラス間のサイズの偏り」などの条件が絡みあって起きます …

AIko Code Symphony•1年前

PyTorch: 画像分類の不均衡問題の解決

目次 はじめに 不均衡データ問題とは PyTorchとは 実装手順 4.1 必要なライブラリのインポート 4.2 データセットの準備 4.3 不均衡データに対する対策 4.4 モデルのトレーニング 4.5 モデルの評価 結論 1. はじめに 本ブログでは、PyTorchを使用して画像分類タスクにおける不均衡データ問題の解決方法について詳しく説明します。 2. 不均衡データ問題とは 不均衡データ問題とは、クラス間のデータ数に大きな差がある状況を指します。この問題は、一部のクラスが他のクラスよりも過剰に表現されているときに発生し、モデルが少数クラスを無視する傾向があります。 3. PyTorchと…