Kaggle

はじめに こんにちは．株式会社音圧爆上げくんにプロKagglerとして所属していますAshmeと申します． 業務の一環としてKaggleの様々なコンペティションに参加し，そこで得られた知見などを記事にして投稿しております．よろしくお願いいたします．また使用したソースコードはこちらにあります． Kaggleでは性能を競っているため，少しでも性能の高いモデルを作ろうとしていると思います．その際に，モデルの性能を少しでも上げるためにハイパーパラメータの調整をしているのではないでしょうか．手法としてランダムサーチやグリッドサーチ，ベイズ最適化などが存在します．今回はその中でもベイズ最適化を用いてパラメ…

はじめに こんにちは．株式会社音圧爆上げくんにプロKagglerとして所属していますAshmeと申します． 業務の一環としてKaggleの様々なコンペティションに参加し，そこで得られた知見などを記事にして投稿しております．よろしくお願いいたします．また使用したソースコードはこちらにあります． Kaggleではより性能が高いモデルを作成することが目的であり，特にテーブルデータでは特徴量エンジニアリングが重要になります．そのようなときに作成した新たな特徴量は予測にどれだけ寄与しているのかを見たいときもあるのではないでしょうか．特徴量重要度やモデルの重みを用いることも可能ですが，ここでは1つ踏み込ん…

はじめに こんにちは．株式会社音圧爆上げくんにプロKagglerとして所属していますAshmeと申します． 業務の一環としてKaggleの様々なコンペティションに参加し，そこで得られた知見などを記事にして投稿しております．よろしくお願いいたします．また使用したソースコードはこちらにあります． Kaggleでも実データでも入力データの特徴量数が非常に多い場合があります．その中には予測に不要なものや，ときには悪影響を与えるようなものが存在します．今回は使用する特徴量を絞るための，様々な特徴量選択の手法について説明していきます． 本記事では説明のために特に特徴量が多いわけではないですが，scikit…

タイトルの通りです。そろそろ「Kaggleやろっかな～」って時に、まずはオーソドックスなHouse Pricesに取り組もうとしたら 「うわっ…カテゴリ変数多すぎ…」 という事態に見舞われてしまいました。そこで、一々手作業でダミー変数に変換していくのもアホらしいので、Rで簡単にデータ内のカテゴリ変数をすべてダミー変数に変換できるようにする関数を書いてみました。 関数 関数 (cat2dum) は以下の通りです。{magritr}, {tidyr}, {stringr}, {purrr}に依存します： cat2dum <- function(data) { library(magrittr) l…

kaggleでスクリプトをnotebookから登録する方法メモ スクリプトを書く kaggleの"Code"で Scriptを書いて、"File"メニュー > "Set as utility script"にチェック notebookから登録する "File"メニュー > "Add utility script"をクリックして、利用したいscript fileを指定する．

はじめに 下記のコンペに参加してみた。 www.kaggle.com データ分析・前処理 xは0,1,2の３種類だったので、カテゴリ変数の扱いにしてOne-Hotエンコーディングを行ってみて。 yは0,1,2,3の4種類だったので、カテゴリ変数の扱いにしてOne-Hotエンコーディングを行ってみて。 timeは年、月、日、時、分で分けるが、説明変数として時間と分と曜日で利用した。 テストデータが、とある日の月曜日分のデータしかなかったため。 directionも、カテゴリ変数の扱いにしてOne-Hotエンコーディングを行ってみて。 欠損値は存在しなかったので、何も対応していない。 外れ値もなさ…

Kaggleから 'Height of Male and Female by Country 2022' をダウンロードして分析してみたのです。 pycountry_convertを使い、それぞれの国を6つの大陸に分け geocoderを使い、緯度・経度を取得後、 foliumで世界地図をプロットしました。 元のデータセットです。非常に簡潔なデータセットですが、データセットを可視化しつつ、大陸名を取得してみたいと思います。 オランダの男性の平均身長は、183.78cmのようです。日本の男性の平均身長は、 172.06cmで世界第113位です。170cm前後だと思っていたので、それよりやや高いよ…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,794件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,785件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,774件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

特徴量の異なる2つの予測モデルのABテスト環境を、SageMaeker推論エンドポイントを用いて作ってみます。 本文中のコードです github.com 目次 目次 データ・モデル 学習 データ準備 学習スクリプト 学習ジョブの実行 モデル登録 推論スクリプト モデル登録 推論エンドポイント作成 バケット振り分け設定 推論エンドポイント作成 リクエスト まとめ 参考 データ・モデル データ kaggle の avazu-ctr-predictionのデータセット Click-Through Rate Prediction | Kaggle モデル 特徴量をFeature Hasing した、線…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,769件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,769件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

月の目標をKaggleと読書にしていたらどうしても手を動かすKaggleをやってしまうので、強い意志で読書を少しした。Kaggleと読書を交互にやれたらいいのかも。Kaggleは時間を使っても順位が上がらないことが多いけど読書は時間をかければ少なくても読了には近づくから。理解してないと意味ないんだけど。

はじめに Expertになるまでの戦歴 NBMEコンペの思い出 PPPMコンペの思い出 Masterは目指そうかな はじめに 日記です。Kaggleを初めて2つのコンペに参加し無事Expertになったので、つれづれなるままにPCに向かひて、心にうつりゆくよしなしごとをそこはかとなく書くことにしました。 技術的に有用な情報はありません。運が強く味方してくれたため再現性はありません。 Expertになるまでの戦歴 kaggle戦歴。NBME 27位 で 銀メダル、PPPM 8位 で 金メダル。 NBME27位で銀メダル、PPPM8位で金メダルを取得したことにより、銅メダル以上2つというExpert…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,750件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

今回の目的 今回のゴール アウトプットのイメージ 実装手順 実装コード アウトプット この実装の難所 movie_id列を追加する 映画をrecommendする 今回の目的 機械学習・レコメンデーションの実装 今回のゴール あるユーザーに好みの映画を予測して映画をおすすめ アウトプットのイメージ 『ハリーポッター・秘密の部屋』を見た人には、●●（映画名）がおすすめ！ 実装手順 ライブラリ、データのインポート データの確認 データの処理 データの切り取り データの関連付け 「モノ」からレコメンデーションモデルの作成 「人」からレコメンデーションモデルの作成 実装コード Netflix - Mov…

エンジニア・プログラマーの学習に約立つコンテンツのセール情報を集めました 1位 現役シリコンバレーエンジニアが教えるPython 3 入門 + 応用 +アメリカのシリコンバレー流コードスタイル ¥24,000 → ¥1,960 92%OFF!! ⭐ ⭐ ⭐ ⭐ ⭐ （17,746件） 現役シリコンバレーエンジニアが教えるPython入門！応用では、データ解析、データーベース、ネットワーク、暗号化、並列化、テスト、インフラ自動化、キューイングシステム、非同期処理など盛り沢山の内容です！ 2位 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 - ¥15,000 → ¥1,84…

こんにちは、futabatoです。 今回は、ArcFace: Additive Angular Margin Loss for Deep Face RecognitionrcFace ( Deng, Jiankang, et al. , 2019 )の論文に目を通したので、論文メモとしてBlogに残しておきます。 openaccess.thecvf.com ArcFace: Additive Angular Margin Loss for Deep Face RecognitionrcFace 論文の概要 著者: Deng, Jiankang, et al. 年度: 2019 論文URL: h…