digdag

初めまして、ベガコーポレーション データ戦略部 分析基盤エンジニア 新卒3年目の武本です。分析基盤の構築をメインに担当しています。digdag+embulkでデータを同期するツールを開発しFargateでHA構成にしたのでご紹介したいと思います。 入社した当初の分析基盤の状況 分析基盤をご紹介する前に開発前の状況についてお話しします。 かれこれ2年前の話になりますが私が入社した頃にBigQueryを導入しようという話になっていました。 分析に必要なデータを一元管理し、クエリを高速に実行させ、ストレスなく分析業務ができる環境を作るというのが一つの目標でした。 とりあえず必要になったのがBigQu…

Digdag から Amazon SNS 経由で Slack にエラーを通知するやつを今までは AWS Lambda を使ってやっていたが、Lambda を使うとコード管理どうするとか色々考えると面倒なので、今年使えるようになった AWS Chatbot が使えたら、いいなーって思ったので調査した ただし、こちらにあるようにSNS -> Chatbotという経路では、使えません https://docs.aws.amazon.com/chatbot/latest/adminguide/related-services.html でも簡単に設定できるので、一応試してみた 結果、できなかったが、や…

前回の記事でDigdag Serverを設定しましたが、サーバのログをローカルに保持し続けていると、障害時のログ確認にいちいちサーバにログインする手間が発生してしまいます。そこで今回はdigdagの実行ログをAWSのS3に出力するように設定します。(以降Digdagはdigdagと表記します)www.capybara-engineer.com

条件 現職で管理している現行のデータパイプラインである Treasure Workflow（managed digdag on TD）+ Presto に適用できること ウェブでメタデータのドキュメントが公開でき、社内に共有できること Data Lineage 的なデータの依存関係がわかること dbt dbt は構築したプロジェクトとその内部のクエリを元にドキュメントを自動で生成してくれる。データの依存関係のDAGを可視化してくれるようで、良さそう。dbt docs serve というドキュメントサイトをホストする機能も提供しているが、現時点では本番稼働を想定していないものらしい。その代わりに…

Treasure Data サポートの笠井です。 この記事は、 Treasure Data の Workflow でベースになっている Digdag を使って遊んでみたという記事です。実際に Treasure Data で Workflow を扱う上ではほぼ役に立ちません。 今回はタイトルにもある通り、モンテカルロ法を使って円周率を計算してみました。円周率を計算しよう思った理由は特に無いのですが、やったらできるかな？と思ったのでやってみました。 モンテカルロ法 モンテカルロ法は、 Wikipedia には以下のように書いています。 モンテカルロ法（モンテカルロほう、（英: Monte Carl…

背景 お題 技術の差別化 差別化から分かること 情報資産からToBeを考える 俯瞰的・相対的な技術選定 これまでの話から学んだこと 最後に はじめまして、MonotaROでデータエンジニアをやっています、芝本です。 エンジニアのみなさん、技術を使って何か作ってみるのって楽しいですよね。 私は、公私ともに日々物作りに励んでいます。プライベートだと、最近はマイクロフロントエンドについて学んでいます。 技術を使うためには、技術を学ばなければいけません。 プライベートにおいては、好奇心に従って自由に学びますよね。 とりあえずgit cloneして動かしてみたり、書籍を購入して読んでみたりします。 とい…

差分転送するモチベーション 機械学習を使った情報推薦を行なうために、RDSのテーブルをBigQueryに定期転送しています。細かいことは気にしたくなかったので、一日一回の洗い替え(全データ送信で全部上書き)していましたが、もう少し鮮度を上げたくなりました(新しい情報に対して推薦ができないため)。何も考えずに定期転送の頻度を上げると 1: 転送のためのCPUコスト 2: AWSからGCPへのデータ転送量 が気になってきます。個人の趣味プロジェクトでは、特に2が大きい。先月のAWSの利用料金を見て、涙を流していました...。というわけで、情報の鮮度は上げつつもう少し効率的に定期転送するべく、Emb…

エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 医師に質問ができるサービスであるAskDoctorsではユーザーが質問を検索できる機能があり、今回は検索改善タスクのために検索ログデータ分析基盤を構築したお話をします。これにより改善サイクルを回せるようになったり、検索ログを使った各種アルゴリズムが利用可能になりました。 データ基盤構築では他チームとの連携が必要不可欠であり、コミュニケーションで工夫した点などもお話できればと思います。

こんにちは。インフラエンジニアの永井(shnagai)です。 最近、家族ノートという「ママリ」内の検索データとQ&Aデータ(現在開発中)を可視化したデータ分析サービスの立ち上げに携わっています。 info-kazokunote.mamari.jp 今回は、家族ノートで使っているデータ基盤の一部であるBigQuery+StepFunctionsで作ったデータレイクの仕組みについてご紹介します。 内容は、ざっくりとこんな話を書こうと思います。 データ基盤作りに至った経緯 AWS→BigQueryにデータ移送するアーキテクチャのpros&cons StepFunctions+Embulk(Farga…

AI・機械学習チームの丸尾 @snowhorkです。 今回は業務改善（＋趣味）で作ったRedash権限管理ツール rdiam について紹介したいと思います。 github.com

はじめに こんにちは。データ戦略室データエンジニアリンググループでリーダーをしている森下です。 データエンジニアリンググループでは、全社のデータ活用をエンジニアリングの側面から加速させることをミッションとし、誰でも簡単にデータ分析を行える環境の整備及びその活用を推進しています。 今回は、先日発生したEmbulkのプラグインを起因とする障害およびその復旧作業についてお話しします。 レバレジーズのデータ活用基盤について BigQuery を中心としたデータ活用基盤の導入及び保守運用を行っています。レバレジーズはインハウスの組織として、提供しているサービスや社内の営業支援システムを自社で開発していま…

データチームにてデータエンジニアとして働いている @komi_edtr_1230です。 2021年1月からheyの1人目のデータエンジニアとして入社し、日々データ基盤の整備にあたっています。 今回の記事ではCIでデータマートの生成を自動化した話について書いていきます。 背景 heyは3社が統合されて出来た会社なのですが、もともとEC、決済、予約の各事業が会社として独立していたというのもあり、社内のデータは統合されていませんでした。 これの何が問題かというと KPIの算出定義を一元管理できず、数値の正しさに信頼を持てないため施策のPDCAが適切に回せない KPIを再利用できず、余計な仕事が増える…

jcommander の dynamic option というやつらしい。 https://github.com/treasure-data/digdag/blob/v0.10.0/digdag-cli/src/main/java/io/digdag/cli/Command.java#L54 しかし、どこで参照しているのか分からなかった...

TreasureData内のテーブルデータをTreasureWorkflow（≒DigDag）を利用してS3へエクスポートする際、若干ハマったので備忘録として残します。■したいこと TreasureDataに保管しているデータを、S3へ出力する ⇒本記事の内容はtdオペレータ（td table:exportコマンド）を使うのではなく、td_table_exportオペレータを使用してデータを出力する場合です。 記事作成時点ではバージニアリージョンでしか利用できないので注意 東京リージョンでも利用できるようになったようです（2021/06/09追記） docs.treasuredata.com …