Dataform

コトの発端 実現したい分析基盤 Rettyの分析基盤 dbtにまとめて、こうしたい dataformでやっていたこと 使ったdbtの機能は、incrimental modelのThe insert_overwrite strategy 実際にやったコト merge intoで指定する任意のパーティション設定 incremental modelのinsert_overwriteの設定 incremental時のwhere句 感想 サンプル コード 挙動 N日に実行 N+1日に実行 この記事Retty Advent Calendar 2023 - Adventarの24日目の記事です。 2023年…

(Dataform とは https://dataform.co/ のことです) 要件 ref() を使ったテーブル間参照についてはとりあえず考えないことにする BigQuery の dataset 名と、Dataform の definitions/ 内のディレクトリ構成をなんとなく一致させたい ってことで、Ruby でこういうかんじでできると思う。google-cloud-bigquery gem とかですらなくて bq CLI を叩いてるだけであまりに素朴だけど、まあふつうに出来てしまうわけだからいいかという気持ちです require 'json' require 'fileutils'…

Dataformを初めて使ってみたので、雑に感想を書いておきます。結構よかった。 使ってみようとした背景 Dataformについて 試してみてどうだったか よかった まだまだこれからっぽいところ & 気になり 参考 使ってみようとした背景 今週、社内の開発合宿に参加していた。変更のリードタイムやデプロイ頻度などのFour Keysにあるような指標を計測できるデータ基盤を作るのが目標。様々なチームの開発のパフォーマンスをトラッキングしやすくして、うまくできているチームがなぜうまくいっているのかを明らかにしたり、改善施策を行なった結果指標も改善しているか定量的に確認できるようにして、開発効率を上げ…

学びたいこと セキュリティ ネットワーク どっちもふわっとは勉強したけど、必要な知識に対して弱い... 勉強したことメモ 自信ないものが多いけど、やったことがあるものをメモしておく。 今後、業務で必要になった時にまた勉強する。 読書系のは読んだけど覚えてないものが結構多い... バックエンド [業務]DB設計およびパフォーマンス改善 [業務]非同期アーキテクチャ設計経験 [業務] Shopify/楽天APIを利用したシステム構築 [読書]データ指向アプリケーションデザイン [読書]Web APIの設計 [読書]失敗から学ぶRDBの正しい歩き方 [読書]良いコード/悪いコードで学ぶ設計入門 ―保…

こんにちは、エムスリーエンジニアリンググループ/ BIR(Business Intelligence and Research) チーム の遠藤(@en_ken)です。 BIRはアンケートシステムをはじめとするリサーチプロダクトを開発しているチームです。チームの詳しい紹介は次の資料を読んでいただければと思います。 speakerdeck.com ここ1年ほどでチームの様相は様変わりしました。 一時期エンジニア3,4名ほどしかいなかったチーム状況から現在はエンジニアだけでも9名まで増え、PdMが2名参画したことで開発状況もこれまで以上に活況になってきています。開発スタイルも個人開発に近かったもの…

この記事は、「Google Cloud Champion Innovators Advent Calendar 2024」の 11 日目の記事です。ここでは、「AI Hackathon with Google Cloud 2024」に参加し、AppSheet と Gemini を用いて「組織の強みを可視化する」生成 AI アプリケーションを開発した経験を紹介します。さらに、そこからの発展として、「Slack のメッセージデータと Google カレンダー、ストレングスファインダーのデータを Firestore に格納し、Gemini を用いた AI エージェントを構築する」という取り組みについ…

はじめに こんにちは。 レバレジーズデータ戦略室、データアーキテクトグループの鵜飼です。 今回は、データ分析基盤の再整備プロジェクトについてお話できればと思います！ こちらは、以前田代が投稿した記事『データ分析基盤再構築への道！～レバレジーズの挑戦～』に記載されているアーキテクチャを元に、実際にデータ基盤を整備してみた話になりますので、プロジェクトが始まった経緯やアーキテクチャに関しては田代の記事をご覧いただけますと幸いです。 データ分析基盤を綺麗にしたいと考えている方の参考になると嬉しいです！ プロジェクトの概要 本プロジェクトは、すでにBIツールを活用したモニタリング体制が整備されている事…

Google Cloud 認定試験では、時々ベータ版試験が登場します。2024年は10月以降に3つのベータ版が登場しました。実際に受験してきましたので紹介したいと思います。 ベータ版試験について ベータ版試験は、正式版が公開される前の最終調整（フィールドテスト）みたいな位置付けです。 ベータ版試験の特徴とメリット ベータ版試験の特徴ですが、 試験内容：正式版とほぼ同じだが、一部変更される可能性がある。 受験料：正式版と比べてディスカウントされる。 受験回数：1回のみ 合否発表：正式版よりも時間がかかる。数週間後に発表されることが多い。 フィードバック：試験に関する意見・感想を任意で回答する。 …

本記事はニーリーアドベントカレンダー2024の5日目の記事です🎅 はじめに こんにちは。Analyticsチームの上田です。 当チームは、2024年3月にチームの概要を紹介するnote記事「データ分析の宝庫を前にして〜Analyticsチーム1年目の取り組み～」を公開しました。その記事ではチーム発足後間もないデータ基盤の構成を紹介しました。それが図1です。 図1: 2024年3月時点のデータ基盤の構成 当時は連携しているデータソースがZendeskのみで、極めてシンプルな構成でした。 その後、事業や社内のニーズに応える形で様々なデータソースが増えていき、当時とは大きく異なる構成となりました。 …

こんにちは。TVer でデータ分析をしている高橋です。 こちらは TVer Advent Calendar 2024 の3日目の記事です。 2日目の記事は @takanamito さんの connect-goでHTTP GETリクエストを受け取る でした。 この記事では分析環境を効率化するために弊社で活用している、Terraform と GitHub を使ったデータマート基盤をご紹介します。 開発のきっかけ これまで分析業務は、データレイクに集約された生ログを都度前処理し、個別の集計作業を行っていました。クエリ作成のたびに手作業でロジックを組み立てるか過去のクエリからロジックをコピペするような…

G-genの杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Data Practitioner とは 難易度 出題傾向 試験対策 ETL と ELT ETL と ELT の基本 オープンソースツールとフルマネージドサービス Cloud Data Fusion イベントドリブンアーキテクチャ データベースの選択 BigQuery BigQuery の基本 ELT と ETL 半構造化データの扱い（JSON 型） パーティションとクラスタリング 外…

G-gen の杉村です。2024年10月のイチオシ Google Cloud アップデートをまとめてご紹介します。記載は全て、記事公開当時のものですのでご留意ください。 はじめに Gemini で Dynamic retrieval が GA BigQuery コンソールで Airflow の DAG が管理できるように Google Forms で新しい質問タイプ「Rating」が使えるように BigQuery の SQL で Pipe syntax（パイプ構文）が Preview 公開 Gemini Code Assist に Enterprise プランが登場 Looker から Loo…

はじめに こんにちは！レバレジーズ株式会社 データ戦略室 データアーキテクトグループ リーダー兼データアナリストの田代です。 今回は、2024年4月頃から取り組んでいるデータ分析基盤再構築プロジェクトについて、概要や苦労した点、現時点での知見などを共有したいと思います。 これからデータ分析基盤の再構築を検討している方の参考になれば幸いです！ 課題 入社以来、様々な分析業務に携わる中で、大きく二つの課題を感じてきました。 1. 指標の定義が曖昧な分析が行われていること： データ戦略室では「データ民主化」を推進しており、営業や企画職のメンバーもアドホックにデータ分析をする機会が多くあります。しかし…

結論 BigQueryのSQLとDataformのsqlxはコメントの適用が異なることが分かりました。これらはBigQueryでもDataformでもコメントとして認識されます。 -- SELECT 1 /* SELECT 1 */ #によるコメントは、BigQueryでは（標準SQL導入前のコメント記法で）コメントとして認識され実行できませんが、Dataformではクエリとして認識されるようです。 # SELECT 1 ブロックコメントの打ち消しは、BigQueryではクエリとして認識され実行できますが、Dataformではコメントとして認識されSQLにコンパイルできないようです。 # /*…

FindyにおけるDataformの活用とその効果 - Findy Tech Blog 【GCP】BigQueryでのETL開発 ~DataformのPJ導入と運用方法~ - Insight Edge Tech Blog Dataform、わたしも最近仕事で使ってるけど、たしかに楽に使ってもらうにはこれでいいんだよなあ。 そして開発ワークスペースの自動削除だったり、みんな「こここうだったらいいのになー」ってところが似てそうなのも面白い Dataflow 実践開発セットアップ - LegalOn Technologies Engineering Blog ここまで公開しているところはあまり見たこ…