LightGBM

これもしょっちゅう使うものではないので、必要な時に思い出せない。。 医療系の予測時によく特異な関数が出てくる気がする。 でも、標準の評価関数の方が良い時もよくある話。 qiita.com

LightGBMとは LightGBMは、勾配ブースティングを基にしたアルゴリズムで、特徴量の重要性の計算や欠損値の取り扱いを自動的に行い、回帰および分類の問題に適用できるモデルです。LightGBMは、XGBoostを超えると言われる強力な機械学習アルゴリズムの一つです。 LightGBMの特徴 LightGBMは、高速な決定木の構築を実現するために4つの特徴があります。 Leaf-wiseアルゴリズム: LightGBMは、最も損失を下げるノードから分割を進める方法を採用しており、これにより早くモデルの精度を向上させることができます。 ヒストグラムベースのアルゴリズム: 連続値の特徴量の値…

データエンジニアだったりデータアナリストだったりします。 @kazasiki です。 Microsoft製の勾配ブースティングのライブラリ LightGBM の4.0.0が2023/07/14に公開されました。機能変更などを含むアップデートは約一年半ぶりだそうです。 github.com さまざまな更新が含まれますが、その中でも自分が注目したのは support for pandas nullable types という一文です。本記事ではこの変更について簡単に紹介していこうと思います。 変更内容 対応するIssueは以下です。 github.com 内容としては読んだまんまで、LightGB…

最近、LightGBMが3.3.5.99へバージョンアップされてしまいOtunaが動かなくなったのを復旧するため、LightGBMのバージョンを3.3.2へバージョンダウンさせたコード。↓ !pip install lightgbm==3.3.2 --install-option=--gpu最新版のlightGBMのGPU版をインストールするコード。↓ !git clone --recursive https://github.com/Microsoft/LightGBM %cd /content/LightGBM/ !mkdir build !cmake -DUSE_GPU=1 #avoid…

こんにちは！こーたろーです。 今回、訳あってLightGBMを使ったシミュレーションを行っています。 その中で、精度を上げるためにクロスバリデーションを行ってみたいと思い、LightGBMクロスバリデーションの情報を探していました。 ちょうどサンプルコードがあったため、そのまま貼り付けて、必要な箇所のデータを変更してみましたが、エラーが出て苦労しました。 結果として、ほぼ手組状態に陥ったため、最新の注意点を含めて、サンプルコードを見直してみました。 新旧比較しながらご覧ください。 それでは早速まいりましょう！ LightGBMにおけるクロスバリデーションサンプルプログラム（旧） サンプルプログ…

機械学習の勉強を進めるうちに、何かしら実際のデータを用いて予測モデルを作成してみたいと思い、データが豊富にある競馬を題材に予想をしてみました。競馬の還元率は一般的に70~80%と言われているので、それを超える値を目指していきたいと思います。 概要 ">今回は多クラス分類を用いて1着になる確率を予想していきます（参考：機械学習で競馬の回収率100%超えを達成した話）。学習に用いるデータはレース前日までに取得可能なものだけを使用し、オッズや馬体重など当日までわからないものは使わないで学習を行います（馬場状態は前日の天気予報などを参考にデータとして使用します）。また、学習モデルにはLightGBMを…

機械学習の勉強を進めるうちに、何かしら実際のデータを用いて予測モデルを作成してみたいと思い、データが豊富にある競馬を題材に予想をしてみました。競馬の還元率は一般的に70~80%と言われているので、それを超える値を目指していきたいと思います。 概要 ">今回は多クラス分類を用いて1着になる確率を予想していきます（参考：機械学習で競馬の回収率100%超えを達成した話）。学習に用いるデータはレース前日までに取得可能なものだけを使用し、オッズや馬体重など当日までわからないものは使わないで学習を行います（馬場状態は前日の天気予報などを参考にデータとして使用します）。また、学習モデルにはLightGBMを…

こんにちは。Analyticsチームの川向です。 Analyticsチームはクライアント企業の皆様がよりよい示唆を得られるために、新たな解析手法やビジュアライゼーションを考案しています。今回はその中の一つの取り組みである「決定木モデルにより重要度を算出する試み」を紹介させていただきます。 この記事はエモーションテック Advent Calendar 2024の18日目の記事です。 NPS®について 本題に入る前に、エモーションテックでの調査で目的変数になることが多く、本記事内での検証においても目的変数であるNPS（Net Promoter Score）について紹介させていただきます。NPSは顧…

はじめに 従来のフレームワークにおける課題 Optunaの設計思想 optunaの理論 Define-by-run APIの理論と実装 サンプリングアルゴリズムの理論 効率的な枝刈り（Pruning）メカニズム 分散最適化の理論とアーキテクチャ ストレージバックエンド トライアルの同期と非同期実行 実際のユースケースと性能評価 ベンチマーク評価の理論的枠組み TPEとCMA-ESの組み合わせによる性能向上 実世界での応用例 システムの拡張性と実装の詳細 カスタムサンプラーの実装 カスタム枝刈り手法の実装 実装上の最適化とパフォーマンスチューニング データベースアクセスの最適化 メモリ使用量の最…

はじめに 当ブログのサブタイトルは，「JTCのデータサイエンス中間管理職の学び」である。というわけで，11月の学習記録を振り返ってみた。 目次 はじめに 目次 インプット編 「データ解析のための統計モデリング入門 一般化線形モデル・階層ベイズモデル・MCMC」 「Pythonではじめる時系列分析入門」 「階層ベイズモデルとその周辺」 アウトプット編 振り返りと今後の抱負 大変なときでも細々と続けることが大事 インプット編 2024年11月は，3冊の本を読んだ。 「データ解析のための統計モデリング入門 一般化線形モデル・階層ベイズモデル・MCMC」 www.iwanami.co.jp10月は9章…

1. 概要 2. 構築したMLOpsパイプライン 3. 実装におけるポイント 3.1. Pythonストアドプロシージャ 3.2. Snowflake TaskによるDAG実装 3.3. 外部ステージを使ったモデル管理 4. 切り替え効果 5. 今後に向けて 1. 概要 NTTドコモ データプラットフォーム部の外山です。私たちのチームでは、4000万規模のユーザーを対象とした機械学習モデルを計50本開発・運用しており、効果的なマーケティングやプロダクト改善を実施する事業部を支えています。 これまで、AutoML製品のDataRobotを核にMLOpsパイプラインを構築していましたが、Snowf…

SENSYプロダクトチームねぎしです。 はじめに 弊社ではComposer/Airflowでワークフローを構築するのがデファクトスタンダードになっています。 一方で、そのサービス(GKEも含めて)を維持する金額的コストや、メンテナンスにかかる工数コスト、対応できる人材のアサインなど様々な問題が起き始めています。 そのため、将来的な乗り換えをみすえて、Airflowのようなワークフローの代替、および、それをデプロイするサーバーについて他のサービスやオープンソースについて調査・比較を行いました。 サービス別概要 1. Cloud Composer（Apache Airflow） メリット: フルマ…

はじめに 製造業におけるデータ分析において，時系列分析は重要かつ頻出課題の１つである。時系列分析の理論とPythonによる実装の両方を学ぶために，最近注目を集めている馬場真哉 著 「Pythonではじめる時系列分析入門」を読むことにした。本記事は，第6部「機械学習法」の第1章「LightGBM」の読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 第6部 第1章 LightGBM 1.1 時系列分析における機械学習法の利用 1.2 回帰木 1.3 勾配ブースティング木 GBDTによる予測：Step 1. GBDTによる予測：Step 2. GBDTによる予…

※ Udemy「ブラックフライデーセール」「サイバーセール」および、はてなによるプレゼントキャンペーンは終了しました。紹介した講座は引き続きUdemyで学習できます。 .entry-content .alert-info { font-size: 90%; color: #3a87ad; background-color: #d9edf7; border: 1px solid #bce8f1; padding: 0.75em 1em 0.5em; border-radius: 4px; } ソフトウェア開発の技術トレンドは移り変わっていきますが、数年前から急激に盛り上がってエンジニアリング環境…

【仕事】 久々に残業する日が続いていた。週の着地としては、まずまずの実装はできたのだが、予定より遅れている。初速が遅い。ひたすら実装するターンで、多分年始くらいまではこんな感じなのでは。。と思っている。これはこれで楽しい（プログラマやっている感）のだが、読書をする余裕は作りたいところ。 【読んだ記事】 ITエンジニア本大賞2025が開幕！ おすすめしたい技術書やビジネス書に投票して大賞を決めよう 12回目らしい、販売ランキングを元にピックアップされた本も参考にはなる（ところで今年何か技術書読んだっけ。。 LeSS CSM研修 -民主主義と幸福とスクラムチーム- スクラムについて、民主主義と似て…

kaggleの過去コンペを眺めていて、時系列分析を使った特徴量を作成できないか考えていた。データについて深く触れるのは好ましくないので、ユーザーの属性情報+各ユーザーごとの何らかの時系列信号(購買ログ、体温の変化etc)があり、そのユーザーに対してある分類を行うという問題を仮定する。 属性情報だけでモデルを組むならテーブルデータを取り扱うモデル(kaggleなら十中八九LightGBM)から始める。問題は時系列情報をどうやってモデルに組み込むかということだ。まず思いつくのは時系列信号から統計量を取り出してテーブルデータにleft joinしてモデルに食わせる方法。この方法だと、モデルはせいぜい…

はー いいですね．櫻坂は曲に恵まれていると思います． 事前知識無しで「ラストマイル」見て最後にこれ流れて完全に打ちのめされました． 本当に感謝． 最近残業しながらずっと聞いてる． 最近残業しながらずっと聞いてる． どの文脈で見たのか忘れましたが Hitherto って単語生まれて初めて見た気がする 「俺は有名配信者を崇めたりはしない．スプラトゥーンの戦略・戦術を硬派に研究・評論してるんだが?」みたいなアカウント，軒並み内容が面白くてもそれを上回る文体・姿勢のしんどさや「分かる人間にだけ伝わればいい」という圧倒的な文脈の欠如という問題があって難しい ドン・キホーテがいつの間にか CBD グミの取…

はじめに なぜ適切だと思うのか 完全に余談（混合ガウスモデルとk-meansの関係性に関して） 最後に はじめに 以前こんな記事を読みました tjo.hatenablog.com 私も尊敬しているTJOさんの記事ですね、内容的にはエルボー法はよくないよね、BICとかのほうがいいんじゃない？的なものでした。 余談をすると、私が理論に重きを置き始めたのは100%TJOさんの影響でした。元々はなんちゃってデータサイエンティストの一員だったのですが、TJOさんのツイートに触発されて、データサイエンティストたるもの確固たる理論知識の裏付けがあるべきという思想に目覚め、最近に至るわけです。LightGBM…

TL;DR NTT DOCOMO R&Dは，KDDCUP2024 OAG-INDタスクにおいて380チーム中6位入賞しました． KDD2024/KDDCUP2024に関する情報及び現地レポートについては，こちらの記事をご覧ください． 本記事では，OAG-INDタスクにおけるNTT DOCOMO R&Dの解法をご紹介します． NTT DOCOMO R&Dの解法をより詳細に知りたい方は，ソースコード及び論文をご参照ください． ソースコード：Link / 論文：Link OAG-INDの順位表 はじめに NTT DOCOMO R&D サービスイノベーション部 Principal Data Scien…