trl

1月にパルパルーザ第3弾を楽しんだ日の1日の過ごし方をご紹介します。こんな楽しみ方もあるんだなと参考になったら嬉しいです！ 8:30 舞浜着 8:35 ボンボヤージュ 9:00 ランド着 9:20 入園！ イッツ・ア・スモールワールドwithグルート 11:30 プラザパビリオン・レストラン 12:30 プーさんのハニーハント そのあとはミニーのスタイルスタジオへ 13:30すぎ？ ハーモニーインカラー ミートミッキー 豪華フリーグリーティングに遭遇！ 15:40 イッツ・ア・スウィーツ・フルタイム鑑賞 ミニーのスタイルスタジオ ミートミッキー 17:55 Reach for the Star…

はじめに 安かったから買ったってだけで！1 nikkieです。 Hugging Faceの記事の中に、Googleのgemmaをファインチューンする記事があります。 こちらについて手を動かす中で、どうやらデバッグに成功したように思われるのでこちらに記します。 なお、trlをはじめとするライブラリ2の経験は少なく勘違いしている可能性もありますので、お気づきの点がありましたら@ftnextまでお知らせください。 目次 はじめに 目次 「Fine-Tuning Gemma Models in Hugging Face」 改良点のまとめ trlのSFTTrainerのドキュメントから Quicksta…

はじめに ﾌｳｶﾁｬﾝ😭1 nikkieです。 trlというライブラリを使ったLLMのファインチューンのチュートリアルに過去に取り組みました。 その中で、自然言語のドキュメントではどうも細かい点が明確に分かりづらく、実装を見るのが手っ取り早そうと感じ始めました。 そこで今回は、データセットのテキストがどのようにトークンID列に変換されるか（＝エンコーディングされるか）に絞って見ていきます。 目次 はじめに 目次 Gemmaのファインチューン SFTTrainerはどんなtokenizerを持つのか？ SFTTrainerはどんなdata collatorを持つのか？ SFTTrainerが持つ…