こんにちは、ADWAYS DEEEでデータエンジニアをしている佐藤です。 私たちのチームは、「JANet」や「AppDriver」といった自社プロダクトを支えるデータ基盤を担当しています。今回は、このデータ基盤をどう構築・運用しているかを紹介します。 データ基盤プロジェクト発足の背景 データ基盤の構成 アーキテクチャ プロジェクト構成 データ基盤の層 開発プロセスの整備 本番相当のデータ環境 データ利用者からのアクセス 工夫した点 メタデータの管理 dbt snapshotによるマスタの履歴管理 今後 おわりに データ基盤プロジェクト発足の背景 データ基盤チームとして本格的に動き始めたのは、2…