onnxruntimeではどんなグラフ最適化がされているか観てみる。 概要はonnxrutimeのドキュメントにまとまっている。 Graph Optimization Levels ここをみてみるとグラフ最適化は以下の3つのレベルに分けられるとある。 Basic 冗長なノードや計算を削除する操作(ConstantFolding, Redundant node eliminations等) Extended 複雑なノード融合が含まれ、cuda,cpuに割り当てられたノードに適用される(GEMM Activation fusion, Attention Fusion等) Layout Optimi…