Change Data Capture

はじめに エーピーコミュニケーションズGLB事業部Lakehouse部の鄭(ジョン)です。 この記事ではCDC(チェンジデータキャプチャ)について紹介致します。 そして、DatabricksとFivetranのCDC検証を行います。 効率的なパイプライン設計について興味がある方にお勧めします。 目次 はじめに 目次 CDC(チェンジデータキャプチャ) 概念および長所 方法 ➀ ログベースCDC ② トリガーベースCDC ③ タイムスタンプベースCDC ➃ 差異ベースCDC ユースケース ➀ リアルタイムデータ統合 ② データマイグレーションおよび複製 ➂ リアルタイムイベント処理 ➃ 監査およ…