DBT: Dealectical Behavior Therapy →弁証法的行動療法
前回の記事ではSnowflakeとdbt Cloudの無料枠を使って環境の構築を行いました。今回の記事では、dbtの機能を使い実際の開発を行っていきたいと思います。 www.hanatare-papa.jp 記事のポイント dbtの基本的な開発サイクル（モデル作成 → テスト → ドキュメント生成）を体験する。 dbtのコア機能であるref()を使い、SQLの依存関係を管理する。 作成したデータ変換処理をdbt Cloudのジョブ機能で自動化する。 dbt Cloud IDEを操作する 開発準備 プロジェクトの初期化 初期コミット 補足 dbtモデルを構築する Sourceの定義 Stagin…
生成AIの台頭によって、エンジニアに求められるスキルは、生成AIを含む様々なアプリケーションをインテグレートさせてクライアントの業務を実現させるための力が求められいるように感じます。その中で、個人的にデータインテグレーションはよりその重要度を増してきています。こうしたデータ分析基盤を作るという分野に興味を持たれている方も増えてきているのではないかなと思います。ただ、一方でこうしたことを学ぶための環境は、限られていて一個人では様々なサービスを使うことは難しかったりします。そういった中で、今回は、可能な限り無料で利用できるサービスを使い、データ変換パイプラインの構築を行っていきたいと思います。 少…
はじめに CARTA HOLDINGSのfluctでデータエンジニアをやっているyanyanです。先日のSnowflake Summit 2025ではsnowflakeの新しい機能がたくさん発表されました。今回はその中のGeneration 2 Standard Warehouse (以降Gen2と表記します。) が東京リージョンでGAしていたので早速試してみました。 この記事では、fluctが取り扱っている本番の広告配信データを利用したdbtによるデータ加工でGen1とGen2の性能比較を行いました。結果的にクエリの実行時間が約39%削減され、クエリの実行時間がウェアハウスの消費クレジット量…
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。もうすぐクリスマスですね。最近、何度か娘に「サンタさんへお願いしたもの」をヒアリングしているのですが、私には秘密みたいで、サンタさんから委託された業務を全うできないかもしれず、ヒヤヒヤする日々を過ごしています。 さて、本記事では、Amazon AuroraのCluster Export機能を用いてAmazon S3へ出力したデータを、dbtを使用してSnowflakeへimportする方法を書きます。以前、『BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestio…
この記事は dbt Advent Calendar 2024 の15日目の記事です。 Data Management チームの森岡です。 スプレッドシート便利ですよね。スプレッドシートをデータソースとして、BigQuery に取り込んでいるケースも多いと思います。ただ、スプレッドシートを外部テーブルとして BigQuery に取り組むとき、Google Cloud のコンソールで操作するの面倒じゃないですか。 シートの範囲を間違えたり、カラム名がイマイチで作り直したら、今度は「あれ？ヘッダー行のスキップ指定、忘れてた...」となってやり直しになること、ありますよね？ 今回は、そういった煩わしさ…
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。もう年の瀬ですが、皆さんはこの一年どんな年だったでしょうか？私はSnowflake一色の一年でした。データ基盤の主要技術をBigQueryからSnowflakeへ移管するプロジェクトの推進を行い、その間Snowflakeを学び、発信し、Snowfalke九州ユーザーグループの立ち上げも行いました。 findy-tools.io techplay.jp また、Snowflake Squadへ選出され、Snowflakeﾁｮｯﾄﾜｶﾙ人材認定もされました。 developerbadges.snowflake.…
目次 はじめに 1. ドコモにおける顧客分析の難しさとCX分析基盤 2. CX分析基盤を運用するときの課題 2.1. 基盤運用で発生する問題について 2.2. リカバリ対応が困難な問題 2.3. ドキュメント修正が煩雑な問題 2.4. 取り組むべき2つの課題 3. 課題に対するソリューション（= dbt導入） 3.1. dbtとは？ 3.2. 課題に対する考え方・実装方針 3.3. 実装 4. 実際の活用 4.1. リカバリに係る稼働とコンピューティング費用削減 4.2. ドキュメント開発環境構築 4.3. よく使うコマンド集 5. まとめ 使用ソフトウェア一覧 環境 言語・フレームワーク バ…
1. 背景 2. 構築したデータパイプライン 3. テスト実装 基本的なテスト source freshness dbt_expectationsを使ったテスト 4. 工夫したポイント・ハマったポイント 外部APIからの取得値に対するテスト StagingモデルのMaterialization 正規表現のコンパイル テスト基準の厳格さについて 5. 今後に向けて さらなる改善 まとめ 1. 背景 NTTドコモ データプラットフォーム部の外山です。NTTドコモでは、ビジネスユーザーに使いやすいデータ活用環境を実現するために、Streamlitアプリを介したデータ活用を推進しています。 お客様の声…
1. はじめに 2. 堅牢性を強化に至った背景 対象のダッシュボード ダッシュボードが抱えていた課題 コード管理の煩雑さ データソース由来の品質問題の波及 3. 課題への対処方針 コード管理の煩雑さの解消方針 より高いデータ品質の確保 参考：dbtとは？ 4. dbtを用いたダッシュボード用パイプラインの構築 汎用フォーマットの採用 汎用フォーマット(抜粋) レイヤ構造 実装のポイント コードサンプル 5. Tableauの実装方針の見直し KPIのフェーズに合わせた実装方針 UIを用いた設定要素の極力排除 安定性強化時の実装ルール フィルタの式設定に関して 6. 見直しの結果と今後の課題 G…
この記事はdbt Advent Calendar 2024および、Kayac Group Advent Calender 2024の4日目の記事になります。 こんにちは、その他事業部SREチーム所属の@mashiikeです。 背景 2024/10/30にAWS からAmazon Redshiftの素晴らしいUpdateが発表されました。 aws.amazon.com 自動コピーを使用して Amazon S3 から Amazon Redshift へのデータ取り込みです。 Redshift では、COPY コマンドを使用してデータを Amazon S3 から 効率的にデータをロードできますが、 …
www.yasuhisay.info
www.m3tech.blog
buildup-db.blogspot.com
techblog.zozo.com
tech.high-link.co.jp
zenn.dev
zenn.dev
www.yasuhisay.info
speakerdeck.com
