Hatena Blog Tags
はてなブログ トップ
Text Generation Inference
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Text Generation Inference

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
nikkie-ftnextの日記•8ヶ月前

GKEでTGIを使ってGemmaをサーブする

はじめに 桜になりたいバラ、うう... nikkieです。 LLMをサーブする環境を思いのほか簡単に立てられそうと気づき、素振りしました。 切ってくぜ、身銭！ 目次 はじめに 目次 用語の整理 見つけたチュートリアル「Deploy Gemma2 with multiple LoRA adapters with TGI DLC on GKE」 動作環境 GKEクラスタ作成（Create GKE Cluster） シークレット作成（Get Hugging Face token and set secrets in GKE） Gemmaをデプロイ お片付け 終わりに 用語の整理 GKE: Googl…

#GKE#TGI#Text Generation Inference

関連ブログ

nikkie-ftnextの日記•1年前

Hugging FaceのText Generation InferenceのGuidance、ユーザが望む出力形式を実現する仕組みの概略

Today I Learned1です。 目次 目次 Hugging FaceのText Generation Inference Guidance (Tutorialより) ドキュメントより、Guidanceの概念 終わりに Hugging FaceのText Generation Inference A Rust, Python and gRPC server for text generation inference. Text Generation Inference (TGI) is a toolkit for deploying and serving Large Language …

#Hugging Face#Text Generation Inference#TGI#guidance#outlines