大規模言語モデルは文字通り深層学習のDeeperで規模が破格なモデルです。 GPTの系列を見てもその内部パラメータや訓練データの数値の大きさは圧倒的です。しかも、年々増加しているわけですね。 LLM製品 公開年 訓練データ量 パラメータ数 GPT-1 2018 約30億トークン １２０,０００,０００ GPT-2 2019 約２８０億トークン １,５００,０００,０００ GPT-3 2020 約４０００億トークン １７,５０００,０００,０００ PaLM 2022 約７８００億トークン ５４,００００,０００,０００ GPT-4 2023 （非公開；約１兆トークン） （非公開：数千億～数兆） …
