Hatena Blog Tags
はてなブログ トップ
Unsloth
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Unsloth

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
地平線まで行ってくる。•2ヶ月前

Gemma3をColabでファインチューニングしてみる。

UnslothによるColab notebookをベースに以前作った日本語gal語データセットでファインチューニングしてみます。27BモデルをColabでファインチューニングできるのか、試してみたかったので、4bit量子化27Bモデル‘unsloth/gemma-3-27b-it-unsloth-bnb-4bit‘をベースにチャレンジしてみます。 datasetsをmlabonne/FineTome-100kを想定して作られているので、instruct, output形式で使えるようにdatasetの整形部分を改変します。詳細はnotebook参照。 L4だと、学習途中でOOMとなってしまった…

#自然言語処理#LLM#Unsloth

関連ブログ

地平線まで行ってくる。•4ヶ月前

SakanaAI/TinySwallow-1.5BをColabでファインチューニングしてみる。

SakanaAI/TinySwallow-1.5Bは、1.5Bにもかかわらず性能が高いモデルです。ファインチューニングを実施したらどうなるのだろうかと、お手軽に実施します。Colab T4のハイメモリ環境です。ハイメモリじゃなくても大丈夫かもしれません。VRAMは5GB程度の占有率でした。 huggingface.co Qwn2.5ベースらしいので、Unslothの以下のColabノートブックを参考にして動作をさせます。 colab.research.google.com Colabの問題か、ライブラリでエラーが出たのでちょっとだけ細工。 !pip install xformers!pip u…

#自然言語処理#LLM
ローカルLLM自由帳•1年前

QLoRAでMistralをChatMLフォーマットに対応させる（Unsloth）

チャットテンプレートについて ローカルLLMのチャットテンプレートはモデルによってバラバラで、けっこう不便に感じる場面が多いです。 Alpacaデータセットに由来するAlpaca形式（###Instruction\n\n...）や、ChatGPTが採用するChatML形式が有名ですが、例えばLlama-2-ChatやMistral Instructはそれぞれ独自のテンプレートを使っています。 OpenAI APIを利用したアプリケーションをローカルLLMで置き換えたい場合、ChatGPTと同じChatMLに対応したモデルが使えると便利です。 ChatMLテンプレート： <|im_start|>…

#LLM#Unsloth#QLoRA