とある6億!件のデータベースを別のDBであるPostgreSQLに格納する必要がありました。6億ですよ、6億、なんなのですかね。こんな件数を扱うのは初めてでした。7000万件くらいなら何度も扱いましたが。 苦労したので共有しておきます。 どうしたい AというDBの6億レコードのテーブルをBというPostgresのDBに移行したいのです。AとBとは別々のデータベースエンジンです。 何が問題 データ数が多すぎて通常の手段(用意されたツール)ではインポートできないのが問題です。 どうした まず 1. AからCSVを作成して、BのPostgresのツールを使ってインポート を実施してみました。 最初の…