データパイプライン

前回の記事において、Stream Analyticsの基礎的な情報をご紹介させていただきました。 今回は実際にStream Analytics ジョブの作成およびデータ連携を行っていきます。 シナリオ Stream Analytics ジョブ作成 プロジェクトの詳細 インスタンスの詳細 ストリーミングユニットの詳細 入力、出力、クエリの作成 入力の作成 認証モード イベントシリアル化形式 イベントの圧縮タイプ 出力の作成 認証モード イベントシリアル化形式 フォーマット 書き込みモード パスパターン クエリの作成 動作確認 ジョブの開始 ジョブ実行結果 日付形式によるデータの出力 クエリによる…

こんにちは、石橋です。FLINTERSで開発者をしています。 本記事はFLINTERSブログ祭りの一環で、Cloud Composer(Airflow)1の代わりにCloud Workflows2でETLフローを作成した話です。 Cloud Workflowsなんぞや?については、公式がCloud Composerとの比較を行っていますので3、そちらが参考になるかと思います。 私の所属するチームでは広告データのETLフロー管理にCloud Composerを使っていますが、近年の円安も相まってコストに対する課題感が高まっています。 弊チームだとCloud Composer1環境あたり~8万/月…

データチームの出口です。 この記事はFLINTERSブログ祭りの記事です。テーマは #Snowflake #技術 #データパイプライン です。 今回はデータチームが現在取り組んでいるSnowflakeを活かしたデータパイプラインの構築について紹介したいと思います。 現状の問題点 現状の構成では以下の点に問題が生じていました。 格納データに不正なデータが混ざり(レコードの重複や主キーのNULLなど)、後続での利用に影響が生じるリスクがある 加工された値の格納のため、過去のAPIバージョンで取得した値をDWH上で確認できない そのため、取得データを確認するためにはS3上のAPI取得データを確認する…

こんにちは、株式会社FLINTERSに出向中の松田です。 本記事はFLINTERSブログリレー企画「梅雨にも負けないブログ祭り」の記事になります。データのオーケストレーションツールの１つである Dagster には Dagster University という公式のチュートリアルがあり、本記事ではその内容について紹介してみます。 テーマ: #オーケストレーション #dagster #データパイプライン Dagsterとは Dagster University Dagster Essentials 各 Lesson 概要 Lesson 1: Introduction Lesson 2: Prer…

こんにちは、Assured のオリバーです。 最近、Google Platform の Workflows を業務に導入し、非同期で動作していたプロセスやバッチをパイプライン化して自動化することで、管理コストと運用コストを削減することができました。この記事では、私たちが取り入れた構成例や、参考になりそうなポイントをいくつか紹介します。これらの情報が、これから Workflows を試してみたい方や、既に使用を開始している方にとってお役に立てれば嬉しいです。 すでに Workflows をご利用の方は、「Workflowsとは」のセクションを飛ばして、「Assured のユースケース」からご覧く…

こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELT…

はじめに 皆さん、こんにちは。MonotaROTechBlogをご覧いただきありがとうございます。データサイエンスグループ所属の植村です。今回の記事では、MonotaROで取り組んでいるバンディットアルゴリズムを用いた施策を支える、データパイプライン*1を紹介したいと思います。リアルタイムな情報を用いて最適化を行う基盤を提供する方々の参考になれば幸いです。 はじめに 本記事でお伝えしたいこと MonotaROのデータサイエンスチームの環境について MonotaROとバンディット MonotaROにバンディットを導入する際の課題や必要な要件 実際に構築したデータパイプラインの紹介 こぼれ話(負荷…