日々の記録 別館

PostgreSQL 9.1 COPY vs pg_bulkload

先々週の続き。
今度はpg_bulkloadとCOPY処理の比較という観点で測定してみた。

測定環境と測定内容

測定環境は前回・前々回と同じ。

• ロードデータ：2592000件のXML文字列(ファイルサイズ約1GB)
  • データファイルとPostgreSQLデータベースクラスタは別Disk
• 比較対象：以下の組み合わせ
  • XML型/TEXT型
  • 通常テーブルへのCOPY/UNLLOGEDテーブルへのCOPY/pg_bulkload(通常モード)/pg_bulkload(並列モード)
  
  

測定結果

グラフにするとこんな感じ。

まとめ

• テキスト型の場合、PostgreSQL 9.1のUNLOGGEDテーブルでも結構効果は高いが、pg_bulkloadはUNLLOGGEDよりも更に高速。
• クラッシュ時の保証が必要な場合、かつ高速ロードが必要なら、PostgreSQL 9.1でもpg_bulkloadは有用。
• XML型の場合はUNLOGGEDテーブルや、pg_bulkloadで高速化してもXMLパース時間の割合が大きいため、あまり効果が見えない。

Permalink | コメント(1) | トラックバック(0) | 14:28