はじめに こんにちは、GLB事業部Lakehouse部の陳(チェン)です。 久しぶりのブログ投稿になる本日は、Databricksにおけるデータを取り込む際、スキーマ変更対応の機能の紹介です。 はじめに 前提条件 想定状況 テストデータ それぞれの悩みに対応する解決法 パタン:(a) 取り込むスキーマ不変 パタン:(b)-1 事前コード変更による対応 パタン:(b)-2 新規カラムとして追加 パタン:(b)-3 新しいカラムをまとめて保存しておく おわりに 最後に これまでの実務上、データパイプラインを作成する際、最初に悩むところはデータの取り込みです。 おおよその場合、データパイプラインを構…