dbt cloud

はじめに GLB事業部Lakehouse部の佐藤です。 これから始まる本ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。また、11月には本シリーズに関連したウェビナーも予定していますので、ぜひご期待ください。 ウェビナーへのお申し込みはこちらからお願い致します。 このブログでは「Databricksでdbtセマンティックレイヤーを可視化する」をテーマに検証した結果をご報告させていただきます。 はじめに セマンティックレイヤーとは？ セマンティックレイヤーの概…

最終的にできたもの。このレポートが毎朝送られるようになる。 何がしたいのか？ 基盤概要 各種コンポーネントについて Cloud Functions BigQuery Wordpressのデータモデリングとdbt Cloud Wordpressのデータモデリングを理解する Looker Studio まとめ 何がしたいのか？ 個人でサービスを作って運営していると、ユーザーのアクティビティが日次でどの程度あるのか知りたくなるのが人の性だろう。自分も健常者エミュレータ事例集というサービスを運営していて、投稿数がどの程度なのか、コメント数がどの程度なのかをできれば毎日知りたい。 文化祭でゲイポルノビデ…

はじめに こんにちは〜。 クラシルでデータエンジニアをしておりますharry(@gappy50)です。 これまで、クラシルではデータ基盤からのデータをアプリケーションや推薦システムへ活用するためにDWHにSnowflakeを導入し、様々な活用をしてきました。 tech.dely.jp その一方で、データ「分析」基盤としての利用を推し進めていくために現在はdbtでのデータモデリングを中心として、一貫性のあるデータ分析が行えるような土台作りに注力しています。 今回は、Snowflakeのコスト監視やdbtのモデリングのコストの監視・可視化ができるdbt-snowflake-monitoringにつ…

はじめに GLB事業部Lakehouse部の阿部です。 本記事では、dbt cloudで作成したモデルのテストについて解説します。 前回の記事では、Partner Connectを使用してDatabricks Lakehouse Platformからdbt Cloudに接続し、Databricksにあるデータをdbt cloud上で変換する流れについて解説しました。 techblog.ap-com.co.jp 前回の記事で作成したパイプライン全体に対してモデルのテストを実行し、最後にドキュメントサイトから実行したテストを確認したいと思います。 目次 はじめに 目次 dbtにおけるテストとは S…