データ分析コンペ

はじめに ～分析の組み立てメインです～ みなさま初めまして。NRIの小川と申します。 先日、データ分析コンペサイトSIGNATEにて開催された「テクノプロ・デザイン社 飛行機の航空経路の推定チャレンジ」(https://signate.jp/competitions/721)に参加し、一般の部１位という結果をいただきました。 データサイエンスに出会ってから５年と、それほど長くはないのですが、はじめてコンペで素敵な賞をいただき、非常にうれしかったです。 このコンペで行った解法をブログ記事に書いていきますが、実は私の解法はそこまで技術レベルが高い部分はありません。 技術的には簡単な推定方法を、思い…

はじめに 昨年Signateで開催された医学論文の自動仕分けチャレンジに挑戦したので、その時に実施した内容を備忘録として記載します。 signate.jp コンペの内容は、医学論文のタイトルと概要から、その論文がシステマティックレビューの対象となる論文かどうかを判別するというもの。英語の自然言語処理と、不均衡データ（システマティックレビューの対象は全体のうち非常に少ない）へのアプローチが必要になる。 最終結果は、60％ラインをギリギリ超える346位で、初めての分野の挑戦にもかかわらずランキングの半分以上に食い込めたので個人的には満足。 2022/02/01時点での順位

「間取り図解析アルゴリズム作成」コンペについて 部屋領域検出の際に利用したデータ データセットの変更 部屋領域検出の実際の取り組み 領域検出AIの問題点 まとめ 株式会社神戸デジタル・ラボ Data Intelligenceチームのプラタマです。 前回の記事で、建具検出課題に関して紹介しました。 kdl-di.hatenablog.com この取り組みを最初から見たい方は、こちらからご覧いただけます。 kdl-di.hatenablog.com 今回は、部屋領域検出をする際に起こった問題や工夫を紹介します。 「間取り図解析アルゴリズム作成」コンペについて まず初めにコンペ全体について振り返りま…

はじめに SotaになっていたSignateのApple引越社 需要予測のコンペに挑戦したので、その記録を書きます。 signate.jp 今回はモデル作成にPyCaretというAutoMLライブラリを利用した。PyCaretは、複数のモデルの構築と評価を少ないコードで簡単に実装できるAutoMLライブラリで、個人的に最近注目しているツール。モデル学習をPyCaretのみで実施してみて、どれだけの順位に組み込めるか試してみた。 先に結果を言うと、PyCaretのみで作成したモデルの評価値は、アップロード時点では150位くらいの結果となった。しかし最近見たら200位まで下がっていたので、現時点で…

Kaggle などのデータ分析コンペで使われるテクニックのひとつに reduce_mem_usage() 関数がある。 これは、一般に pandas の DataFrame のメモリ使用量を削減するために用いられる。 具体的には、カラムに出現する値を調べて、それを表現する上で必要最低限な型にキャストする。 たとえば、64 ビット整数のカラムを 32 ビット整数にできれば、理屈の上では必要なメモリ使用量がおよそ半分になる。 ただし、この関数は pandas が組み込みで提供しているわけではない。 そのため、各々がスニペットを秘伝のタレのように持っているか、あるいは必要に応じてウェブ上から探して利…

はじめに 2024年8月3日(土)に、LayerXさんの東銀座オフィスにて開催された関東Kaggler会に参加してきました。 関東Kaggler会は、国際的なデータ分析コンペであるKaggleに挑戦している方々を対象にしたオフラインイベントで、日本国内でもトップクラスの成果を出されているKagglerがその経験や解放を共有してくれる勉強会であり、コミュニティです。 開催レポートなどは別途共有してくださる方がいると思うので、この記事では Kaggle経歴は1年程度、メダルは銅2つのひよっこ Kaggle系イベントは初参加で知り合いゼロ 他のイベントはちょこちょこ参加、運営側だったりもする ような…

やあ 甘口です 論文も終わったので，あとは院試だけですね 論文を見返してみると，怒涛の15ページあり，我ながらよく頑張ったなーとか思ってみてました． 原稿を頑張って13ページくらい書いたのですが，大抵直しがかかっているので書いたのは僕じゃないですなあ 頑張った感じがしますね（主に指導教官の人が）． なんか指導教官が書くと同じようなことを書いているのに世紀の大発見感がすごいです． なんなんですかねこの差は．．．正直ビフォーアフターです．匠の手によって作り替えられたと言うわけですなあ.やっぱたくみはすごいです．その上人格者なので尊敬の念が止まりません．ああ言う人を目指したいなあと思ってます 涙が止…

※ 掲載内容は寄稿日現在の情報です。現在も本記事の職種が同条件で募集されているかどうかは要確認 はじめに 株式会社エニグモが運営する「BUYMA（バイマ）」は、国内最大規模のソーシャルショッピングサイトとして知られています。今回、同社がシニアデータサイエンティストを募集しているという情報を入手しました。この求人は、BUYMAのサービスをAIベースへと進化させる重要な役割を担う人材を求めるものです。 BUYMAとは？エニグモの革新的なビジネスモデル BUYMAは、世界178ヶ国に1100万人を超える会員を持つ、グローバルなCtoC×越境ECプラットフォームです。22万人のパーソナルショッパー（出…

この記事について バックグラウンド 本業はTypeScriptを主に書いているWebエンジニアで社会人5年目。副業ではデータサイエンティスト/機械学習エンジニアをやっていてこちらも5年目。 この記事を書いた理由 最近読んだ「科学的根拠に基づく最高の勉強法」という本の中に、「思い出す頻度が高ければ高いほど定着する」という話があった。 なので、読んだ本の内容を思い出し定着させるきっかけとするためにこの記事を書いている。 科学的根拠に基づく最高の勉強法作者:安川 康介KADOKAWAAmazon 紹介する本のラインナップについて 統計や機械学習の理論をガチガチにするのは難しいと判断して、理論寄りの書…

SIGNATEが新たなDX人材育成講座の募集開始 株式会社SIGNATEは3月1日、DX人材育成サービス「SIGNATE Boot Camp」の第1号講座「0からはじめるコンペで学ぶAI・データサイエンス実践講座」の受講生募集を開始した。 この講座は、プロのAI・DX人材による伴走支援とデータ分析コンペを通じて、AI・データサイエンスの実践力を身につける6か月間の集中講座である。 厚生労働大臣が指定する「教育訓練給付制度」の認定講座であり、受講料の一部が給付金として支給される。 また、修了時にはモデリングスキルの認定証が世界標準規格のオープンバッジとして発行され、転職活動でスキルをアピールでき…

はじめに 2023年11月1日(水)〜2024年1月23日(火)に開催されたLLM - Detect AI Generated Textというkaggleのコンペに参加し，参加者5,264人，4,358のチームが参加する中で単独14位の順位で終えることができました． 報告が遅くなりましたが，念願のソロ金をついに取ることができました！！！これでSolo Kaggle Masterの仲間入りです！今日にいたるまで，いろいろなコンペやイベントで皆さんから学ばせていただいたことが，実を結んだ結果だと思っております．本当にありがとうございました！！ pic.twitter.com/K5XRmlF0A1—…

はじめに 第二回 金融データ活用チャレンジに関しては，以下をご参考ください． signate.jp 第一回金融データ活用チャレンジに続き，今回もbaselineとなるようなnotebookを共有することができたらと思います． 今更ながら開会式を視聴させていただきました． 前回同様，コンペ開催の目的など，とてもポジティブなものであり，コンペが盛り上がるといいなと思っております．（記事投稿の理由も少しでもコンペの活性化に貢献することを意識しており，最低限の実装とコンペを進める上で手詰まりを避けるためのアイデアをいくつか書かせていただきました．） 当該コンペはディスカッション（フォーラム）がなく，b…

なんか最近やりたいなーと思っていてもなかなか手つかずの状態になっているものが多いので、一旦整理していきたいなと思います。 ベランダをおしゃれな感じにする 大学生の頃から長く使っていた家具が多かったんですが、最近少しずつ家具を買ったりしています。いやー家具ってめっちゃ高いですよね。高い買い物になるのでめっちゃ調べていたときに自宅マンションのベランダをおしゃれなリゾートにしたという記事を見たんですね。 note.com もう目からウロコ。部屋をキレイにしようと思って部屋の中のことをずっと考えていたけどベランダは全く考えてなかったわ。在宅でいつも家にいるので気分転換になる方法も探していたからベランダ…

はじめに 2023/11/25(土)に行われた、yukiCup 2023 Autumn x atmaCupに参加しました。 yukicup.connpass.com 当日の様子は、Twitterのハッシュタグ、#yukiCupでもわかります。 本イベントは、2回目の開催で、オンサイト・オンラインのハイブリッド開催でした。 私はオンラインで参加していました。 期間は1日で、お題は「文化財のデータを利用して、ある建物や美術品が国宝に指定されているかどうかの予測」で、テーブルデータのコンペでした。 初めてのチームマージ データ分析コンペに触れ出したのが2016年くらいなんですけど、8年目にして初めて…

この記事では社内部署横断で開催したデータ分析開発合宿の概要や様子を紹介します。 目次 目次 はじめに データ分析開発合宿とは なぜやろうと思ったのか データ分析開発合宿の流れ 開催の様子 Step1 キックオフ Step2 課題ヒアリング Step3 合宿 データ分析開発合宿で得られた成果 おわりに はじめに 皆さんこんにちは、クラウド&ネットワークサービス部の丹野と、ソリューションサービス部の小関と是松です。 私たちは普段業務の傍ら、「データサイエンスちゃんねる」という社内のデータ分析コミュニティの運営をしており、社内向けの輪読会やKaggle LT会などを企画、開催しています。 この記事で…

こんにちは！ 今回、24新卒としてラクスルグループのノバセル株式会社に配属予定のエンジニア4人が、選考やインターンを通じてラクスルについて感じたことをパネルディスカッション形式で話しました！ ラクスルに興味のある人が気になりそうなことをテーマにみんなで意見を持ち寄り４人でディスカッションしました。 パネルディスカッション時の筆者４人（左上から時計回りで新開・秦・石川・小谷） 筆者紹介 秦健心 愛知工業大学大学院経営情報科学部修了予定。 内定者インターンとして、ノバセルでデータエンジニアとしてデータ基盤整備を行なっている。 在学中には情報系サークルで会長を務めた。また、ハッカソンなどに複数参加し…