Hatena Blog Tags
はてなブログ トップ
DataEngineering
このタグでブログを書く

DataEngineering

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
バイセル Tech Blog•1ヶ月前

こっそり作る変更履歴テーブル - CDC(ChangeDataCapture)を使って

こちらは バイセルテクノロジーズ Advent Calendar 2022 の 16 日目の記事です。 前日の記事は 福田さんの「負荷対策（パフォーマンスチューニング）の運用を 0 から作って定例化する知見」でした。 はじめに テクノロジー戦略本部データサイエンス部の田村です。 今年 5 月に入社して以来、データエンジニアとしてデータ基盤の構築を行なってきました。 その中で構築した仕組みの 1 つとして、リレーショナルデータベースのトランザクションログを使って BigQuery に変更履歴テーブルを作成した話をご紹介します。

#アドベントカレンダー2022#DataEngineering

ネットで話題

もっと見る

関連ブログ

JTP Technology Port•8ヶ月前

データエンジニアリング実践シリーズ　第一回【データエンジニアリングとは】

「データエンジニアリング」という言葉を聞いたことがあるでしょうか。 昨今、デジタルトランスフォーメーションが推し進められていることにより、データ活用の重要性がますます高まっています。中長期的な経営方針や意思決定のためにデータを活用するためには高度なデータ分析を行う必要があり、そのためにはデータ分析を行うための分析基盤が必要となります。このデータ基盤を構築・管理する技術および関連領域をデータエンジニアリングといい、これらを行う技術者はとりわけデータエンジニアなどと呼ばれることがあります。 データ分析を行うデータアナリストや、数理・統計学を用いてデータを活用するデータサイエンティストのために、ビッ…

#DataEngineering#DataLake#DataWarehouse