fine-tuning

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプト…

こんにちは！今回は、GPT-3をfine-tuningしてキャラクター設定したAIと会話できるアプリをBubbleで構築していきます！ fine-tuningとはモデルを再学習させる手法で、本記事では「つくよみちゃん」というキャラクターの会話データセットを使ってGPT-3 DavinciベースモデルをBubbleでfine-tuningします。さらにfine-tuningしたモデルでチャットアプリを実装する手順とアプリでのやり取りの様子もご紹介しているので、ぜひ最後までお読みください！ なお、チャットアプリは「AIと対話できるチャットアプリをBubbleとGPT-3.5で構築する」の手順通りに…

はじめに データについて データソース データ加工 結果の評価 評価方法 結果サンプル サンプル1 サンプル2 サンプル3 サンプル4 サンプル5 評価まとめ 総括 はじめに 最近話題の GPT-3 で Fine-tunig を試してみたので、その結果を共有したいと思います。 評価した目的は下記の3つですが、この記事では皆さんが一番興味を持たれそうな 3.の精度についてお伝えします。 1.と2.には触れません。 GPT-3を Fine-tuning する方法を理解する。 GPT-3を Fine-tuning する際のコストや時間を理解する。 Fine-tuning をした結果、検索結果として回…

色々なモデル学習方法 モデルの追加学習方法は数百枚～数万枚の画像データで行う純粋なDiffusion Modelの追加学習から、１枚、あるいは数枚程度の軽微な学習まで色々あり、Google colabで行える方法をまとめた。 なお学習したモデルやFine-tuningはAUTOMATIC1111の正しい場所に配置する必要があり、その配置情報は下の記事にまとめた。 programmingforever.hatenablog.com メジャーなモデルの学習方法 vanilla fine-tuning（一般的な追加学習） Texture Inversion（数枚～のデータ） Hypernetwork…