Hatena Blog Tags
はてなブログ トップ
luigi
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

luigi

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
ドワンゴ教育サービス開発者ブログ•3ヶ月前

機械学習パイプラインLuigiのタスク同士の関係を良い感じに可視化する方法

はじめに ドワンゴ教育事業でデータサイエンティストとして働いている中井です。 この記事では、PythonのパイプラインパッケージであるLuigiで構築したパイプラインにおいて、それを構成するタスク間の依存関係・タスクのグループ間（task_namespace で分けられる）の依存関係を良い感じに出力する方法についてお話しします。想定する読者はある程度Luigiを使ったことのある方としています。 Luigiではタスク全体の依存関係を出力できますが、大規模なタスクだともう少し荒い粒度であったり、全体のうちの一部だけ見たいといったこともあると思います。この記事を読むことでそのような荒い粒度の可視化や…

#luigi#Graphviz#データサイエンス#Python

ネットで話題

もっと見る
119ブックマークTHE YEAR OF LUIGI2013年に発売されるルイージ関連のソフトなどを紹介するルイージの年ポータルサイトです。www.nintendo.co.jp
74ブックマークLuigi によるワークフロー管理 - Qiitaqiita.com
65ブックマークspotify/luigi · GitHub -- Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.github.com
57ブックマークPython: データパイプライン構築用フレームワーク Luigi を使ってみる - CUBE SUGAR CONTAINERblog.amedama.jp
47ブックマークLuigi逆引きリファレンス - Qiitaqiita.com
45ブックマークPythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiitaqiita.com
36ブックマークTiiduka ☮️4Ukraine on Twitter: "#黒瀬深、全国紙（読売新聞）に自分のデマツイートとスクショが紹介されてしまったので、アイコン変えて、キャラ変えて大変です。 副収入のオンラインサロンも『政治や経済について議論するグループ』に変更。 アイコン変更理由が読売新聞紙… https://t.co/H1st4LuiGI"twitter.com
35ブックマークデータフロー制御フレームワークLuigiを使ってビッグデータ解析をする - Qiitaqiita.com
25ブックマークLuigi Luca & Francesco Cavalli-Sforza The Great Human Diasporas: 人類進化と分布のとても優秀な一般向け解説書。インチキに使わずきちんと読もう！ - 山形浩生の「経済のトリセツ」cruel.hatenablog.com

関連ブログ

CARTA TECH BLOG•5ヶ月前

8年間の進化！CARTA MARKETING FIRMが機械学習基盤を刷新した理由とその成果

TL;DR CARTA MARKETING FIRMのデータサイエンスチームは、8年間にわたり機械学習基盤を進化させてきました。Luigi、AWS SageMaker、Prefectと変遷する中で、「データサイエンティストが最も付加価値を生み出す部分に集中し、時間を費やすことができる基盤」という目標に着実に近づいています。 Luigiでは開発環境構築や運用負荷が高く、柔軟性に欠けていました。 SageMakerではインフラ構築の複雑さやStep Functionsの制約が課題でした。 Prefectの導入により、Pythonのみでインフラからバッチ処理まで記述可能になり、A/Bテストの実施が容…

#CARTA MARKETING FIRM#CARTA HOLDINGS#データサイエンス#prefect#SageMaker#luigi
ギークなエンジニアを目指す男•3年前

Luigiを使って機械学習パイプラインを構築する3つのメリット

みなさんこんにちは。たかぱい（@takapy0210）です。 本エントリでは、（今更ながら）Luigiを使ってみて感じたメリットをつらつら書いています。 最後にはTitanicのコードを使って実際の機械学習パイプラインを構築してみた例も載せているので、よければ参考にしてみてください。 Luigiとは Luigiを使うメリット コードのメンテナンス性向上 再現性の向上 実験回数の向上 使用する上でのTips requiresはデコレータを用いる 任意のフォーマットでログ出力する ブラウザからパイプラインの実行結果の可視化をしてみる 実際のコンペデータをLuigiフレームワークに載せてみる 最後に…

#機械学習パイプライン#luigi