Azure Data Factory

本記事では、データエンジニアリング初学者の学習記録として、データエンジニアリングの概要から実践までの内容をまとめています。 今回は前編として、データエンジニアリングおよびAzure Data Factoryについてご紹介します。 データエンジニアリングとは？ データエンジニアリングの必要性 データエンジニアリングのプロセス Azure Data Factoryについて 実践するシナリオについて おまけ：ダミーデータを用意する ユーザー情報の作成 Power Platform監査ログの作成 まとめ データエンジニアリングとは？ データエンジニアリングはデータサイエンティスト協会が定義している３つ…

前回の記事では、Azure Data Factoryにてパラメーター化されたデータパイプラインを作成し、実行する方法を解説しました。 前回、パイプライン実行は「今すぐトリガー」によって手動で行っていました。 今回は、パイプラインにストレージイベントトリガーを実装し、「ストレージアカウントのイベント発生時にパイプラインが実行されるトリガー」を実装していきたいと思います。 ※ パイプラインの実装方法については以前の関連記事を参考にしてください。 関連記事 Data Factoryを使用してAzure Blob StorageからAzure SQL Databaseにデータをコピーする - JBS …

Azure Data Factory とは、Microsoft Azure のクラウドベースのデータ統合サービスで、様々なデータソースからデータの抽出や変換、異なるデータストアへのロード等を行うことが可能です。 Azure Data Factory には 3 種類の統合ランタイムが用意されており、利用するデータやネットワーク環境に合わせて統合ランタイムを選択します。 今回は、クラウドデータストアとプライベートネットワーク内のデータストア間でコピーが可能となる、セルフホステッド統合ランタイムのプロビジョニングを行ってみたいと思います。 セルフホステッド統合ランタイムでのデータフロー概要 セルフホ…

前回は、Azure Data Factoryを使用した簡単なデータコピー処理の実装方法を紹介しました。本記事では、前回作成したパイプラインをパラメーター化し、環境に応じて使い分け出来るようにしていきます。 前回の記事：Data Factoryを使用してAzure Blob StorageからAzure SQL Databaseにデータをコピーする - JBS Tech Blog 実施概要 事前準備 実施手順 データセットパラメーターの作成 Blob SQL パイプラインパラメーターの作成 Blob SQL アクティビティでパラメーターを指定 Blob SQL パイプラインパラメーターに値を入れ…