130単位

Excel用のCSV(SJIS)をPHP(UTF-8)で読み込む

PHP

Excelで作成したCSVファイルは文字コードがShift-JISであるため、UTF-8に設定してあるPHPで扱うには工夫が必要です。その取り扱い方について調べて、ベンチマークをとってみました。

CSVを配列にする関数4通り

テンポラリファイル作成してfgetcsv()

<?php
function by_tmpfile($file) {
	$ret = array();

	$buf = mb_convert_encoding(file_get_contents($file), 'utf-8', 'sjis-win');
	$fp = tmpfile();
	fwrite($fp, $buf);
	rewind($fp);
	while($line = fgetcsv($fp)) {
		$ret[] = $line;
	}
	fclose($fp);

	return $ret;
}

• そのままfgetcsv()すると文字化けする
• 文字コード変換してテンポラリファイルを作成してからfgetcsv()
• 参考
  • PHP: fgetcsv - Manual
  • PHP5 の fgetcsv() で読み込み内容が腐る現象 » blog.plastik.jp

ロケール設定してfgetcsv()

<?php
setlocale(LC_ALL, 'ja_JP.SJIS');
function by_locale($file) {
	$ret = array();

	$fp = fopen($file, 'r');
	while ($line = fgetcsv($fp)) {
		mb_convert_variables('utf-8', 'sjis-win', $line);
		$ret[] = $line;
	}
	fclose($fp);

	return $ret;
}

• setlocale()でOSのロケール設定を変更するとfgetcsv()で文字化けしない
• OSに’ja_JP.SJIS’のロケールが存在しない場合はlocaledefで作成する
• Windowsではsetlocale()の指定方法が異なるため注意
• 参考
  • PHP: setlocale - Manual
  • 【php】fgetcsv()でShift_JISのCSVをそのまま読みたい at softelメモ

str_getcsv()

<?php
function by_str_getcsv($file) {
	$ret = array();

	$buf = mb_convert_encoding(file_get_contents($file), 'utf-8', 'sjis-win');
	$lines = str_getcsv($buf, "\r\n");
	foreach ($lines as $line) {
		$ret[] = str_getcsv($line);
	}

	return $ret;
}

• PHP5.3以上必要
• 行単位に分割してからstr_getcsv()を呼ぶ
• Excelのセル内改行はLFなため、CRLFの"\r\n"で分割可能
• 参考
  • PHP: str_getcsv - Manual

<?php
function by_str_getcsv_explode($file) {
	$ret = array();

	$buf = mb_convert_encoding(file_get_contents($file), 'utf-8', 'sjis-win');
	$lines = explode("\r\n", $buf);
	array_pop($lines);
	foreach ($lines as $line) {
		$ret[] = str_getcsv($line);
	}

	return $ret;
}

• explode()版
• 末尾の改行で分割された行を無視するためarray_pop()している

ベンチマーク

環境

• Mac OS X 10.6.7
• PHP 5.3.6 (cli) (built: Mar 23 2011 01:29:26)
• 4KB程度のCSVファイル
  • Windows版 Excel 2003で作成
  • セル内改行あり

結果

function	time	memory_peak_usage
by_tmpfile	12.437s	721848
by_locale	6.335s	719456
by_str_getcsv	8.217s	726208
by_str_getcsv_explode	5.405s	726216

※平均値ではありませんが再試行しても微量な差です

まとめ

• 汎用的にするならテンポラリファイル利用
  • 公開ライブラリ等で扱うならこちらが良さげ
• パフォーマンス重視ならexplode()→str_getcsv()
  • PHP5.3以上前提、改行絡みで副作用あるかも

途中Twitterにてアドバイスいただきました@chobi_eさんありがとうございました！

パーフェクトPHP (PERFECT SERIES 3)

関連記事

• MySQL mysqldump＋αでExcelで読めるCSV出力 - 130単位
• PostgreSQL CSVファイルからのインポート - 130単位

ツイートする

Permalink | コメント(0) | トラックバック(3)