GPT-2の論文"Language Models are Unsupervised Multitask Learners" の論文要約メモです。 はじめに Language Models are Unsupervised Multitask Learners 概要 手法 学習データセットWebTextの作成 BPE: Byte Pair Encoding モデルアーキテクチャ 結果 言語モデリングタスク 常識的推論能力 文章読解力 要約タスク 翻訳タスク QAタスク Generalization vs Memorization おわりに/所感 参考 はじめに 今回まとめる論文はこちら: Lan…