GEMMA

概要 Gemmaは、Googleが開発した軽量で最先端のオープンモデルのファミリーです。研究とテクノロジーが生まれたのと同じGeminiモデルから構築され、Google DeepMindとGoogleの他のチームによって開発されました。 Gemmaは、テキストからテキストを生成するデコーダのみの大規模言語モデルで、様々な自然言語処理タスク用に、テキスト、コード、数学コンテンツの膨大なデータセットでトレーニングされています。 Gemmaの特徴 軽量: アプリケーション内、ハードウェア、モバイルデバイス、ホスト型サービスで実行できます 高性能: さまざまな自然言語処理タスクで優れたパフォーマンスを…

はじめに テスト環境と条件 検証用プロンプト EC2インスタンスタイプの説明 補足 パフォーマンス計測方法 APIリクエスト APIパラメータ補足 パフォーマンス計測結果 結論 おまけ お知らせ はじめに こんにちは、CTOの大柿です。 ローカルLLMとして高額なGPUがなくとも動作するLLMや量子化したLLMが数多く公開されてきており、実際どれが使えるのか、どの程度のコストが必要なのかという疑問がわきます。今回ローカルLLMをAWS EC2で実行するための最低限なインスタンスタイプを比較・検証してみます。ローカルLLMの利用は、コスト削減やデータプライバシーの観点から非常に魅力的です。しかし…

はじめに 安かったから買ったってだけで！1 nikkieです。 Hugging Faceの記事の中に、Googleのgemmaをファインチューンする記事があります。 こちらについて手を動かす中で、どうやらデバッグに成功したように思われるのでこちらに記します。 なお、trlをはじめとするライブラリ2の経験は少なく勘違いしている可能性もありますので、お気づきの点がありましたら@ftnextまでお知らせください。 目次 はじめに 目次 「Fine-Tuning Gemma Models in Hugging Face」 改良点のまとめ trlのSFTTrainerのドキュメントから Quicksta…

はじめに ルールを守って楽しく決闘！ nikkieです。 最近ollamaをもふもふしているのですが、ちょっと思うところがあり、アウトプットネタに選びました。 ※自分用のメモの意味合いが強いです。ライセンスの解釈について専門知識は皆無ですので、記載は鵜呑みにせず、ライセンスの原文（一次情報）をご確認ください 目次 はじめに 目次 ollamaは便利 落とし穴：ollamaのユーザは、モデルのライセンスを意識せずに済んでしまう Gemma Terms of Use META LLAMA 3 COMMUNITY LICENSE AGREEMENT Hugging Faceは厳格すぎるかもだが、私的…

はじめに 桜になりたいバラ、うう... nikkieです。 LLMをサーブする環境を思いのほか簡単に立てられそうと気づき、素振りしました。 切ってくぜ、身銭！ 目次 はじめに 目次 用語の整理 見つけたチュートリアル「Deploy Gemma2 with multiple LoRA adapters with TGI DLC on GKE」 動作環境 GKEクラスタ作成（Create GKE Cluster） シークレット作成（Get Hugging Face token and set secrets in GKE） Gemmaをデプロイ お片付け 終わりに 用語の整理 GKE: Googl…