データパイプライン

こんにちは、石橋です。FLINTERSで開発者をしています。 本記事はFLINTERSブログ祭りの一環で、Cloud Composer(Airflow)1の代わりにCloud Workflows2でETLフローを作成した話です。 Cloud Workflowsなんぞや?については、公式がCloud Composerとの比較を行っていますので3、そちらが参考になるかと思います。 私の所属するチームでは広告データのETLフロー管理にCloud Composerを使っていますが、近年の円安も相まってコストに対する課題感が高まっています。 弊チームだとCloud Composer1環境あたり~8万/月…

データチームの出口です。 この記事はFLINTERSブログ祭りの記事です。テーマは #Snowflake #技術 #データパイプライン です。 今回はデータチームが現在取り組んでいるSnowflakeを活かしたデータパイプラインの構築について紹介したいと思います。 現状の問題点 現状の構成では以下の点に問題が生じていました。 格納データに不正なデータが混ざり(レコードの重複や主キーのNULLなど)、後続での利用に影響が生じるリスクがある 加工された値の格納のため、過去のAPIバージョンで取得した値をDWH上で確認できない そのため、取得データを確認するためにはS3上のAPI取得データを確認する…

こんにちは、株式会社FLINTERSに出向中の松田です。 本記事はFLINTERSブログリレー企画「梅雨にも負けないブログ祭り」の記事になります。データのオーケストレーションツールの１つである Dagster には Dagster University という公式のチュートリアルがあり、本記事ではその内容について紹介してみます。 テーマ: #オーケストレーション #dagster #データパイプライン Dagsterとは Dagster University Dagster Essentials 各 Lesson 概要 Lesson 1: Introduction Lesson 2: Prer…

こんにちは、株式会社FLINTERSに出向中のおさないです。 本記事はFLINTERSブログリレー企画「梅雨にも負けないブログ祭り」の一環で、実務でCloud ComposerのSizingを行う際にどのようにして構成の値を算出しているのかというテーマで、参照している箇所と値を決定するプロセスについてまとめてみます。 注: 本記事が対象とするCloud ComposerはCloud Composer 2を指します。 Sizingの前提知識 Sizingの考え方 おわりに 参考 Sizingの前提知識 Cloud Composer（以下Composer）のSizingに関係する環境構成の項目は以…

こんにちは、マーケティング部門広告グループの小林です。この記事ではオンライン広告運用に使っているデータ変換処理をdbtに移行した過程と得られた効果についてご紹介します。 モノタロウでは、全社的なデータ活用研修などにより、マーケティングのようなビジネス系の部署でも、SQLを自身で書いてデータ抽出を行い、数字に基づいた意思決定を行っています。その一方で、集計後の数値のズレやドメイン固有のデータの品質管理など、活用が進んだ企業ならではの課題というのも表面化してくるようになってきました。 オンライン広告運用においては、投下した費用など配信実績のレポーティング、広告媒体へのデータ送信などのいわゆるELT…

はじめに 皆さん、こんにちは。MonotaROTechBlogをご覧いただきありがとうございます。データサイエンスグループ所属の植村です。今回の記事では、MonotaROで取り組んでいるバンディットアルゴリズムを用いた施策を支える、データパイプライン*1を紹介したいと思います。リアルタイムな情報を用いて最適化を行う基盤を提供する方々の参考になれば幸いです。 はじめに 本記事でお伝えしたいこと MonotaROのデータサイエンスチームの環境について MonotaROとバンディット MonotaROにバンディットを導入する際の課題や必要な要件 実際に構築したデータパイプラインの紹介 こぼれ話(負荷…

はじめに はじめまして。 クラシル開発部でデータエンジニアをしておりますharry(@gappy50)です。 この記事は dely Advent Calendar 2021 および Snowflake Advent Calendar 2021の9日目の記事です。 昨日はうっくんさんからのNotionでJiraを作ろう！というとても興味津々話でした！！ やっぱりNotionは色々できるのでいいですね◎ それと私のお話で恐縮ですが、昨日はSnowflakeのイベントSnowdayにてクラシルでのSnowflakeを活用したニアリアルタイム分析の事例についてお話をさせていただきました。 www.sn…