はじめに 今日も素振りにとりくーみこ!1 nikkieです! 先日、『Transformerによる自然言語処理』の中のRoBERTaの事前訓練を写経したという記事を書きました: "考えながら写経"していて、いくつか掘り下げたい事項が出てきています。 今回はデータの読み込みにフォーカスします。 目次 はじめに 目次 今回解消する積み残し 参考例:examplesのlanguage-modeling/run_mlm.py 動作環境 datasetsライブラリで書き換え 書き換え解説 書き換えて3章 書き換えたことの検証 終わりに 今回解消する積み残し datasetは、🤗的にはdatasetsを使…