HDF5

Google Colabを使ってディープラーニングの学習を行おうとしたが、データの読み込みが非常に遅い。 もともと使っていたコードでは画像ファイルを1枚1枚直接読み込んでいた。ローカルでは数分かかる程度であったが、Google Colabだと1時間近くかかるようになったので、流石に待てないので高速化する。 方法としては、画像ファイルをすべてHDF5ファイル1つに集約する。HDF5ファイルについては以下のリンクが参考になる。 qiita.com 概要 HDF5ファイルではグループによって、データを階層構造で保持することができる。今回は/trainグループを作成して、そこにDatasetとして画像…