Embulk

はじめに クラシルリワードについて データ基盤の全体構成 BigQueryの選定理由 データ基盤における重要な役割 アプリのイベントログのscan量削減 DynamoDBやRDSをBigQueryにSync Snowflakeの活用 BIツール(Redash, Looker) Redash Redash repositoryのフォルダ・ファイル構成 git管理下のSQLクエリをRedashに反映 Lookerについて さいごに はじめに こんにちは！クラシルリワードで開発責任者をしているfunzinです。 この記事ではクラシルリワードのデータ基盤の構成について紹介していきます。 クラシルリワー…

概要 DockerコンテナでEmbulkを手軽に実行したかったので、試しに作成してみる。 準備 Embulkで実行するために必要なコンフィグファイル config.ymlとEmbulkのインプットとなるtest.csvを準備する。 config.ymlはCSVを読み取り、標準出力に表示する設定とする。 in: type: file path_prefix: '/work/test.csv' parser: charset: UTF-8 newline: LF type: csv delimiter: ',' quote: '"' escape: '"' null_string: "NULL" …

エキサイト株式会社の中尾です。 Embulkを使って、S3のアクセスログを集計してデータベースに挿入する方法を説明します。 例えばアクセスログから時間帯別のアクセスログの結果をDBに保存したりすることがあると思います。 前提条件は以下の通りです。 AWS Athenaを使ってクエリが実行できる nginxのアクセスログがS3に保存されている AWS Athenaのクエリ Embulkのプラグインインストール Embulkの設定 実行する例 最後に AWS Athenaのクエリ 例えば、時間帯別のアクセスログを取得するクエリです。 SELECT date_trunc('hour', from_i…

はじめに YAMAP エンジニアのカレンダー | Advent Calendar 2022 - Qiita 17日目の記事です。 YAMAP の業務でも使わせて頂いているバルクデータローダー Embulk について、データベースの jsonb 型カラムを扱う際の高速化 Tips を書きます。 jsonb 型カラムを Postgres 側で text にキャストして劇的高速化 YAMAP アプリケーションのメインの DB は Postgres でデータ基盤は BigQuery で、日々多くのテーブルを Embulk で Postgres -> BigQuery へと転送しています。 その中のある…

Admin 限定技だけど、Slack にはデータのエクスポートという機能があって、ワークスペースのパブリックチャンネルの会話データを zip でダウンロードすることができる。これがまあまあ便利な代物で、通常なら API を叩きまくらないと得られない諸々の情報を一括で手に入れることができる。 エクスポートした zip の中身はこんな感じになっている: . ├── channels.json ├── integration_logs.json ├── users.json ├── <channel> │ ├── yyyy-mm-dd.json │ ├── ... │ └── yyyy-mm-dd.…

こんにちは、negimixです。 ファイルやデータベースなど、各所に散らばっているデータをデータベースに集約して活用したいなぁと漠然と思っていました。 単純にデータを読み込んで、データベースに登録するプログラムを作ればいいんですが、今回はEmbulkを使ってみたので、Embulkの利用方法を紹介したいと思います。 【目次】 Embulkとは Embulk環境構築 サンプル実行 データをデータベースに登録 まとめ

以下の記事のパート4です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する（★本記事） ECSでのタスクの実行確認までできました。最後にStep Functionsでより簡単にジョブを実行できるようにして完了です！頑張りましょう～(*^▽^*) 目次 4-1) 動作確認用ののデータを投入 4-2) Srep Functionsの設定 4-3) ステートマシンに設定したAMロールに不足する権限を追加します。 4-4) 後片付け 最後に 4-1) 動作…

こんにちは！ STORES でデータエンジニアとして、データ基盤の開発運用を担当している@ssxotaです。 STORES には2024年の1月に入社しました。 前職ではデータレイクの立ち上げや、データを利用したプロダクトの開発には携わってきましたが、 本格的なデータ基盤を扱うのは STORES に来てからが初めてでした。 チームのメンバーに助けて貰いながら業務に取り組んでいたら、光陰矢の如し！あっという間に8ヶ月が経っていました。 今回は私が入社してからの間でキャッチアップした STORES のデータ基盤の全体像を説明したうえで、今後の展望を紹介し、STORES のデータ基盤の今をお伝え出来…

FLINTERS BASE 12期生の寺嶋と申します。この記事では、入社時研修の特徴 と、FLINTERS BASEの雰囲気 をお伝えします。FLINTERS BASEに入社を考えている方の参考になれば幸いです。

はじめに こんにちは。レバレジーズ、データエンジニアの森下です。 レバレジーズではBigQueryを中心にデータ活用基盤を構築しています。ELT処理は今までEmbulkを使用していましたが、データ更新頻度の向上による社内ユーザーの利便性向上とデータエンジニアの運用負荷軽減を考えて、今年度中に全てFivetranへ移管する予定です。すでにいくつかのRDBやSaaSの更新はFivetranにまかせており、日々その便利さを噛み締めています。 今回は、Fivetranを使った便利なポイントや困ったポイント、注意するべきポイントを紹介いたします。 Fivetranとは？ ELT専用のSaaS…

【Day1】あなたは何故クラウド基盤本部に？気になったので聞いてみた！ #CybozuSummerBlogFes2024 - Cybozu Inside Out | サイボウズエンジニアのブログ こういう人を紹介する系のブログ、採用されたい人でなければなかなか興味がないことに気がついた embulkでBigQueryからデータベースにデータを移行した話 - エキサイト TechBlog. BQ で分析すればよくね？ 牛丼とフレンチで考える、スタートアップとSIerの仕事スタイル - NRIネットコムBlog 似たことを書いてる謎のZenn記事よりおもろかった。 Google Cloud に機械…

はじめに 初めまして。 2024年の５月に入社した梶山です。 今回はEC運営からデータエンジニアに転職し、3ヶ月の研修が終了しましたので感想をまとめたいと思います。

はじめに はじめまして。24卒4月に入社した野呂です。 3ヶ月の研修を終え、その振り返りをブログとしてまとめていきたいと思います。 特に、社内の雰囲気、研修の内容に重きを置いて話そうと思います。 FLINTERSに入社を考えている方、すでに入社が決まっている方に向けて何か参考になれば幸いです。 はじめに 経歴 会社に入ってみての感想・雰囲気 人がいい リモートワーク 研修内容について 1. 進行面 2. 技術面 Git研修 ETL研修 ドメイン駆動設計 成長できたこと おわりに 経歴 私は大学は、理工学部の電気電子工学科です。 大学4年の卒業論文では超音波についての実験をしていました。 そうで…

こんにちは、エンジニアのオリバーです。もう梅雨が明けて、夏ですね。Assuredでは仲間が増えてきたことでできることも多くなり、6月は三つコラムを掲載しました。 クラウドサービスの設定ミスを引き起こすリスクの実態調査 【2024年上半期セキュリティレポート Vol.1】SaaS事業者のサプライチェーン管理の実態 【2024年上半期セキュリティレポート Vol.2】SaaS事業者のセキュリティ未対策項目 TOP10 ビジネスメディアPIVOTでも、Assuredの事業や仲間について取り上げていただき動画が公開されました。 www.youtube.com さて、プロダクトチームでは先月どのような行…

皆さん、こんにちは！ FLINTERS データチームに所属しています、西垣と申します。 今回はFLINTERSブログ祭りと題しまして、部署や職種に関係なくチームを組み、それぞれ思い思いの内容でブログを投稿することで会社を盛り上げよう！という企画の一環としてこちらの記事を投稿させていただく運びとなりました。 2023年入社かつ、チームの中で若い、私、西垣がフレッシュな意見で序盤のスタートを切らせていただきますので、お手隙の際にご一読いただけること、また今後の記事に期待を持っていただけますよう頑張らせていただきます。 今回の企画には記事ごとにテーマを設けているため、この記事は #FLINTERS …

はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: T…

前回の続きです。 EMR 5.36.1 から EMR 6.15.0 への更新 使用するアプリケーションのバージョンは以下のようになりました。OS は Amazon Linux 2 です。 アプリケーション等 EMR 5.36.1 EMR 6.15.0 Tez 0.9.2 0.10.2 Hue 4.10.0 4.11.0 Hive 2.3.9 3.1.3 Hadoop 2.10.1 3.3.6 Presto 0.267 0.2831 Trino N/A 426 Hive, Hadoop, Tez については前の記事で確認済みなので、ここからはそれ以外の要素について検討していきます。 一番問題にな…