Hatena Blog Tags
はてなブログ トップ
Kaggle日記
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Kaggle日記

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
kaggle初心者の入門日記•2年前

Kaggleで勝つデータ分析の技術 二章(3.1)

章：2.3 やったこと：これまでの内容のコード部分を写経した 以下、メモ。 AUCについて理解不足だった。 指摘してもらっていたので、 例を用意して感覚をつかんでみた。 複雑な例を用意するのは面倒だったので、 以下のように正例と負例の予測値のスコアを一様分布で与えた場合で考えた。 正例・負例のスコアの範囲はalphaで変更して、予測値の分布とROCの変化を見る。 import numpy as np import matplotlib.pyplot as plt np.random.seed(0) # 正例、負例のサンプル数 n_sample = 50 # スコアの分布 alpha = 0.3…

#Kaggle日記

関連ブログ

kaggle初心者の入門日記•2年前

Kaggleで勝つデータ分析の技術 二章(3)

章：2.3節 ページ：p72~p86 内容：各種評価指標について（つづき）。 二値分類における評価指標（正例である確率を予測値とする場合） logloss (Cross entropy) 分類タスクで代表的な評価指標 低いほうが良い指標 正例だが正例ある確率を低く予測した場合や、負例だが正例である確率を高く予測した場合にペナルティが大きくなる 確率を正しく予測できている場合にloglossは最小値をとる AUC (Area Under the ROC Curve) 二値分類における代表的な指標 予測値を正例とする閾値を1→0に動かし、(偽陽性率, 真陽性率)を(x, y)にプロットしたものをR…

#Kaggle日記
kaggle初心者の入門日記•2年前

Kaggleで勝つデータ分析の技術 二章(2)

章：2.3節 ページ：p62~p72 内容：各種評価指標について、それらの特徴など。式が書きにくいので省略。 回帰タスクにおける評価指標 RMSE (Root Mean Squared Error) 回帰タスクで最も一般的 RMSEを最小化する解は、誤差が正規分布の最尤解に一致 外れ値の影響を受けやすいので、前処理が必要 RMSLE (Root Mean Squared Logarithmic Error) 目的変数に対して対数をとったもののRMSE 大きな値の影響が強い場合や真値と予測値の比率に注目したい場合などで使用 MAE (Mean Absolute Error) 真値と予測値の絶対値…

#Kaggle日記
かけだしデータサイエンティストの日報•2年前

Kaggle スタートブック~2章(2)

範囲:2.3章(p53)~2.5章(p88)やったこと Pandas Profiling によるデータ外観 各種の特徴量 VS 正解ラベルのヒストグラム作成 再現性を保つために、乱数を使う場面では seed を固定する. - seed を固定するための関数を定義 可視化→仮説→特徴量作成→submit →可視化 の繰り返し LightGBM を使う - LightGBM では Early stopping を利用するために Validation data を作成する。 総括 可視化は大事 仮説が思いつくかどうかが結局の所勝負 仮説はデータの意味内容の理解から重要

#Kaggle日記
kaggle初心者の入門日記•2年前

Kaggleで勝つデータ分析の技術 二章(1)

章：2.1節~2.2節 ページ：p54~p61 内容：タスクと主な評価指標、データの種類について タスクの種類と主な評価指標 回帰タスク 数値（物の値段、株価のリターン、来客数など）を予測するタスク 評価指標はRMSE, MAEなどが良く使用される 分類タスク 二値分類と多クラス分類に大別される 二値分類 目的関数がYes/Noであるタスク 0/1のラベルで予測を提出する場合と、0/1の確率を表す数値で予測を提出する場合がある 評価指標は、前者の場合はF1-Score、後者の場合はloglossやAUCなどが使用される 多クラス分類 マルチクラス分類とマルチラベル分類に大別される マルチクラス…

#Kaggle日記#Kaggleで勝つデータ分析の技術
kaggle初心者の入門日記•2年前

Kaggleで勝つデータ分析の技術 一章 つづき

章：1.3節~1.5節 ページ：p29~p51 コンペの参加方法について Join Competitionを押せば参加できる。 ちゃんとルールを読んで理解することが大事。 特に１日の提出回数だとか外部データの使用可否など。 コンペによって成果物が違うので注意。 sample_submissionみたいな名前のファイルが提出形式のファイルなので、その形式に合わせないとダメ。 とにかく問題の理解と評価指標の確認は必須。 EDA(Exploratory Data Analysis) データへの理解を深めること。まずこれをやる。 主にやること： カラムの種類、型、値の分布、欠損値、外れ値がどうなってい…

#Kaggle日記#Kaggleで勝つデータ分析の技術
kaggle初心者の入門日記•2年前

Kaggleで勝つデータ分析の技術 一章

章：1.1節~1.2節 ページ：~28p Leaderboardについて コンペ期間中はテストデータの一部を使ったスコアで順位が付く(public) コンペ期間終了後に残りのテストデータを用いた最終順位が決まる(private) Notebooksについて Notebooksはクラウド上でコード実行できる環境 Kernelともいう トップページのCode -> New Notebookで新規作成できる Your workで過去に作ったコードがみれる File -> Editor Type でnotebookかscriptかを選択可能 Consoleのデフォルトは /kaggle/working…

#Kaggle日記#Kaggleで勝つデータ分析の技術
かけだしデータサイエンティストの日報•2年前

Kaggle スタートブック~１章

開始:1章(p1 ~ p37)やったことアカウント作成 Titanic への登録 Notebook の作成Kaggle のポイントKaggleでは企業がデータセットと賞金を提供しており、コンペで勝利するとお金がもらえる。 成績上位チームには金銀銅のメダルが贈呈される。メダルについて一定の条件を満たすと称号が与えられる。 基本的にコンペには2~3ヶ月程度の期限が設けられている。 チームとして参加することも可能 ブラウザ上であるていど環境が整ったNotebookが使えるのですぐに使える。GPUも使えるらしい。教師あり学習・教師なし学習・強化学習教師あり学習は学習用のデータに対して入力とそれに対応す…

#Kaggle日記
No Code, No Life•2年前

Day 48 SIGNATE、Kaggleコンペを始めました

データサイエンティスト分野で知らない人はいないであろう、データ分析コンペです. ここ数日ブログ更新できていませんでしたが、寝る間も惜しんで分析進めた結果、SIGNATEでは金メダル2つ圏内取得 (クラスUP！). Kaggleも念願の初submitに至りました. Kaggleは本当に時間が取られますが、自分で手を動かして分析を進めると非常に勉強になります. これまで精神論的な話しかできていませんでしたが、そこらへんの記録を残したいと思います. 2022/10/14の記録 SIGNATEのSOTAチャレンジに出場. Kaggleよりかはとっつきやすいテーマだったため、1日で2個挑戦. なんと2つ…

#SIGNATE#Kaggle日記#キカガク#XGBoost
juncollinの日記•1年前

目標の小さな歩み

独学大全の続き。 スモールステップいい。私は今まで大きな目標を掲げ過ぎていたのかもしれない。 1/100プランニングかー。 演習にあるように早急にプランを立てたいが、今日はもう寝たい。 けど立ててみる。 Kaggleで銅メダルを取りたい。というのを目標として持っていて、ネットとか見ると高い目標ではないみたいだけどそもそもKaggleを全くやっていない。 KaggleのWebページを開く。 取り組むコンペを選ぶ。 NotionなどにKaggle日記をつけるページを作成する。 ベースラインを書く。 1サブミットする。 過去の類似コンペの上位解法を読む。 ディスカッションを読む。 といったところかな…