pytorchで定義されたモデルをonnx, tflite形式へと変換し推論の実行時間を計測した。 pytorch->onnx->tensorflow->tfliteへの変換は以下の変換処理をまとめたライブラリを利用。 また、モデルのconvertする際には量子化等は適用しておらず、fp32のまま推論。 github.com 測定環境 CPU pytorch onnx onnxruntime tensorflow AMD Ryzen 5 3600 6-Core Processor 1.8.1 1.9.0 1.7.0 2.5.0 推論時間の測定結果 実行時間は100回連続推論させた平均ですが、数…
qiita.com
github.com