本記事の概要 TeslaでAI開発のディレクターを務め、現在はChatGPTで有名なOpenAIで働くAndrej KarpathyのGPT解説動画[Let's build GPT: from scratch, in code, spelled out.]を紹介します。 www.youtube.com 動画の概要 ChatGPTにも使用されている言語モデルGPT3と同等のモデルを実装していきます。 データセットは1MB程度の小さなものなのでそこまでの精度は出ません。あくまでモデルのアーキテクチャを学ぶのが目的のようです。 実装は全てPyTorchで、もちろん動画で実装されるコードは全て公開され…