データプラットフォーム

最近、「データメッシュアーキテクチャ」という言葉を知りました。今後、何回かに分けてこのテーマについて記事を書いていく予定ですが、今回はその基本的な概念を紹介したいと思います。 一度にすべてを書くことができないのは、調べれば調べるほど簡単にまとめられる内容ではなく、まるで大学の卒業論文を何本か書くようなボリュームと複雑さがあるためです。そこで、少しずつ分けて紹介できればと考えています。 記事のポイント データメッシュアーキテクチャの基本的概念 データメッシュアーキテクチャの提唱 データメッシュアーキテクチャが解決しようとしている従来型データアーキテクチャ（データウェアハウス、データレイクなど）の…

今回の記事では、書籍を読むにあたり、読む前の私が考えるデータプラットフォームの構成要素についてメモを残しておきたいと思います。内容はあまり読者の方にとって有用でないかもしれませんが、あくまで読む前の自分の考えを記録することが目的ですので、ご理解いただければ幸いです。 記事のポイント データプラットフォームの構成要素 データプラットフォームの構成要素4つ データプラットフォームが構築される目的 データの収集 データの統合 データの公開 メタデータの共有 まとめと今後読み進めていく予定の書籍 データプラットフォームの構成要素4つ 私が考えるデータプラットフォームの構成要素は、以下の4つです。 デー…

これは Livesense Advent Calendar 2023 DAY 20の記事です。 データ分析基盤で開発をしている晝間です。 マサカリが怖くてブログ執筆を避けてましたが、初めての記事投稿になります。 リブセンスのデータ基盤では、RDSからRedshiftへのデータ同期に、DigdagとEmbulkを使っています。 Embulkで複数の事業部からDB情報を取得し、Redshiftへデータを投入しています。 DigdagとEmbulkは長年1つのVM上で長年運用してきましたが、それをECS化したという記事になります。 だいぶ前にはなりますが、DigdagとEmbulkについて書かれた記…