DBT: Dealectical Behavior Therapy →弁証法的行動療法
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。もうすぐクリスマスですね。最近、何度か娘に「サンタさんへお願いしたもの」をヒアリングしているのですが、私には秘密みたいで、サンタさんから委託された業務を全うできないかもしれず、ヒヤヒヤする日々を過ごしています。 さて、本記事では、Amazon AuroraのCluster Export機能を用いてAmazon S3へ出力したデータを、dbtを使用してSnowflakeへimportする方法を書きます。以前、『BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestio…
この記事は dbt Advent Calendar 2024 の15日目の記事です。 Data Management チームの森岡です。 スプレッドシート便利ですよね。スプレッドシートをデータソースとして、BigQuery に取り込んでいるケースも多いと思います。ただ、スプレッドシートを外部テーブルとして BigQuery に取り組むとき、Google Cloud のコンソールで操作するの面倒じゃないですか。 シートの範囲を間違えたり、カラム名がイマイチで作り直したら、今度は「あれ？ヘッダー行のスキップ指定、忘れてた...」となってやり直しになること、ありますよね？ 今回は、そういった煩わしさ…
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。もう年の瀬ですが、皆さんはこの一年どんな年だったでしょうか？私はSnowflake一色の一年でした。データ基盤の主要技術をBigQueryからSnowflakeへ移管するプロジェクトの推進を行い、その間Snowflakeを学び、発信し、Snowfalke九州ユーザーグループの立ち上げも行いました。 findy-tools.io techplay.jp また、Snowflake Squadへ選出され、Snowflakeﾁｮｯﾄﾜｶﾙ人材認定もされました。 developerbadges.snowflake.…
目次 はじめに 1. ドコモにおける顧客分析の難しさとCX分析基盤 2. CX分析基盤を運用するときの課題 2.1. 基盤運用で発生する問題について 2.2. リカバリ対応が困難な問題 2.3. ドキュメント修正が煩雑な問題 2.4. 取り組むべき2つの課題 3. 課題に対するソリューション（= dbt導入） 3.1. dbtとは？ 3.2. 課題に対する考え方・実装方針 3.3. 実装 4. 実際の活用 4.1. リカバリに係る稼働とコンピューティング費用削減 4.2. ドキュメント開発環境構築 4.3. よく使うコマンド集 5. まとめ 使用ソフトウェア一覧 環境 言語・フレームワーク バ…
1. 背景 2. 構築したデータパイプライン 3. テスト実装 基本的なテスト source freshness dbt_expectationsを使ったテスト 4. 工夫したポイント・ハマったポイント 外部APIからの取得値に対するテスト StagingモデルのMaterialization 正規表現のコンパイル テスト基準の厳格さについて 5. 今後に向けて さらなる改善 まとめ 1. 背景 NTTドコモ データプラットフォーム部の外山です。NTTドコモでは、ビジネスユーザーに使いやすいデータ活用環境を実現するために、Streamlitアプリを介したデータ活用を推進しています。 お客様の声…
1. はじめに 2. 堅牢性を強化に至った背景 対象のダッシュボード ダッシュボードが抱えていた課題 コード管理の煩雑さ データソース由来の品質問題の波及 3. 課題への対処方針 コード管理の煩雑さの解消方針 より高いデータ品質の確保 参考：dbtとは？ 4. dbtを用いたダッシュボード用パイプラインの構築 汎用フォーマットの採用 汎用フォーマット(抜粋) レイヤ構造 実装のポイント コードサンプル 5. Tableauの実装方針の見直し KPIのフェーズに合わせた実装方針 UIを用いた設定要素の極力排除 安定性強化時の実装ルール フィルタの式設定に関して 6. 見直しの結果と今後の課題 G…
この記事はdbt Advent Calendar 2024および、Kayac Group Advent Calender 2024の4日目の記事になります。 こんにちは、その他事業部SREチーム所属の@mashiikeです。 背景 2024/10/30にAWS からAmazon Redshiftの素晴らしいUpdateが発表されました。 aws.amazon.com 自動コピーを使用して Amazon S3 から Amazon Redshift へのデータ取り込みです。 Redshift では、COPY コマンドを使用してデータを Amazon S3 から 効率的にデータをロードできますが、 …
はじめに GLB事業部Lakehouse部の長尾です。 これから始まる本ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。 初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。 また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 これからの投稿をお見逃しなく！ ウェビナーへのお申し込みはこちらからお願い致します。 本ブログは、dbt × Databricksによるデータ処理と品質管理の最適化①の続編です。 前回同様に本ブログもDatabricks社の「Best Practi…
はじめに dbt（data build tool） Python modelとSnowflakeのSnowparkを活用することで、データ取得と変換の開発体験の向上を実現できます。SQLは宣言的な言語であり、複雑な手続き的な処理を書くには限界があります。しかし、dbt Python modelはそのSQLの弱点を補完してくれるので、非常に便利です。 さらに、Snowflakeの外部アクセス統合を使うことで、APIを叩いて外部のデータを取得することも簡単に実現できます。これにより、さまざまなデータソースをシームレスに取り込むことが可能になります。 本記事では、dbt Python modelとS…
こんにちは、株式会社CARTA MARKETING FIRMのVP of Dataの @pei0804 です。 CARTA MARKETING FIRMのデータ基盤Vision では、DataOpsを推進しています。DataOpsとは、データ分析やAI/ML開発のライフサイクル全体を最適化し、品質と速度を向上させるプラクティスです。 speakerdeck.com 弊社の考えるDataOpsが実現されている世界観は、「利用者は価値創出に集中でき、基盤チームは仕組み作りに集中できる状態である。」です。 過去に発表した資料があるので、直近どういう取り組みをしているのか興味がある方は、こちらのスライ…
www.yasuhisay.info
buildup-db.blogspot.com
techblog.zozo.com
tech.high-link.co.jp
zenn.dev
zenn.dev
www.yasuhisay.info
speakerdeck.com
buildersbox.corp-sansan.com
