こんにちは。テックラボの高橋です。 pytorchにtorch.compileという機能があることをご存知でしょうか? torch 2.0から導入されたこの機能を利用することで、推論処理や学習処理を高速化できるとのことです。 今回はNVIDIA A100を用いて、torch.compileがどのくらい効果があるか検証してみました。 環境 pytorch 2.6 GPU NVIDIA A100 80G ubuntu 20.04.6 nvidia-docker 24.0.9-1 モデル tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.3 torch.c…