LLaMa-2

LLMの内部構造 LLMの内部構造を見るにあたり、LLaMA-2 を例に。 LLaMa-2 のソースコードはGithub で公開されており、プログラムはPython で実装されている。 LLaMa-2は以下の主な構成要素で成り立っている。 ・Pythonコード ・パラメータ ・トークナイザ LLMが文を生成するプロセス ・テキストの入力 ・入力されたテキストをトークン化 ・次の単語の予測 ・次の単語を選択し結合 ・出力 以下、順々に説明していく。 ①入力されたテキストをトークン化 入力されたテキストは、まずはトークナイザによって細かく分割されます。 LLaMa-2はSentencePiece3…