データメッシュ

最近、「データメッシュアーキテクチャ」という言葉を知りました。今後、何回かに分けてこのテーマについて記事を書いていく予定ですが、今回はその基本的な概念を紹介したいと思います。 一度にすべてを書くことができないのは、調べれば調べるほど簡単にまとめられる内容ではなく、まるで大学の卒業論文を何本か書くようなボリュームと複雑さがあるためです。そこで、少しずつ分けて紹介できればと考えています。 記事のポイント データメッシュアーキテクチャの基本的概念 データメッシュアーキテクチャの提唱 データメッシュアーキテクチャが解決しようとしている従来型データアーキテクチャ（データウェアハウス、データレイクなど）の…

この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界…

はじめに データの利活用が進まない原因 データメッシュとは何か データメッシュアーキテクチャ データメッシュアーキテクチャの特徴 サイロ化されたデータ基盤との大きな違い データメッシュの思想 1. ドメイン主導によるデータオーナーシップ ドメインとは何か データ所有権の一元化の課題 ドメイン主導のデータオーナーシップ ドメイン主導のテクノロジースタック選定 2. プロダクトとしてのデータ データプロダクトとは何か 3. プラットフォームとしてのセルフサービス型データ基盤 セルフサービス型データ基盤とは セルフサービス型データ基盤を構成するリソースとツール 中央IT組織とドメインのそれぞれに求め…

この記事は？ 現在の企業のデータアーキテクチャ データアーキテクチャ失敗パターン 一元化されモノシリック パイプラインの分割 分断されたオーナーシップ 次世代のエンタープライズデータプラットフォームアーキテクチャ データと分散ドメイン駆動アーキテクチャの出会い ドメインに基づくデータ分解とオーナーシップ ソース志向のドメインデータ 分析者向けの共有されたドメインデータ ドメインの内部実装としての分散パイプライン データとプロダクトシンキングの出会い 製品としてのドメインデータ 発見可能 アドレッサブル 信頼して使えるデータ 自己記述型のセマンティクスと構文 相互運用可能であり、グローバルスタン…