Hatena Blog Tags
はてなブログ トップ
GPT-2
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

GPT-2

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
JBS Tech Blog•2年前

Azure OpenAIで消費されるトークン数を計算する方法

Azure OpenAIではGPT系の自然言語処理モデルを使用してさまざまなタスクを処理することができます。 APIを使用するために料金が発生しますが、リクエストごとにどの程度の料金が発生するのかを知る必要があります。またモデル毎の上限トークンを考慮してアプリを設計する必要があります。 本記事ではトークンの考え方と計算方法について解説します。 概要 トークンとは？ 実際に消費されるトークン数は？ トークンを計算する ブラウザから計算する プログラム上で計算する tiktoken GPT2TokenizerFast その他 トークン消費数の例 結論 おわりに 概要 Azure OpenAI Se…

#大規模言語モデル#ChatGPT#GPT-3#GPT-3.5#GPT-4#GPT-2#OpenAI#Azure OpenAI#形態素解析

関連ブログ

勾配降下党青年局•2年前

GPT2にアストルフォのdanbooruタグ付けをファインチューニングしてみた

text2imgによる画像生成について、textの方もAI任せにしてーと思っていたのでGPT2にプロンプトを自動生成させるのをやってみます。 以下をぱくっただけです。 github.comnote.com できたモデル furusu/astolfo_prompt_generater · Hugging Face 説明 私が個人的にStable diffusion系モデルをファインチューニングするときに使うキャプションをそのまま学習用データとして利用します。キャラクタータグ以外はWD14-taggerによる推論結果を利用しています。順序は予測値でソートしています。キャプション例： astolfo…

#GPT-2#機械学習#Stable Diffusion
地平線まで行ってくる。•3年前

りんな、日本語GPT-2モデルとガンダムで遊んでみた#01

rinna社が公開したGPT言語モデル。なんだか楽しそうなので、ファインチューニングにチャレンジした。お勉強なので、お手軽にできる範囲。モデルをサイズの小さいsmallを選択し、実行環境は参考にしたサイトを見ながらColabで構築。題材は「逆襲のシャア」のセリフ群。まぁ、こんなものでいいでしょう。 note.com 得られた結果。「アムロ:シャア、ここで止めるしかないのか!」に引き続き語られる文章を生成した。 アムロ:シャア、ここで止めるしかないのか! クェス:ようし、アムロはアムロにやられる前に... いきなりクェス・・・。 アムロ:シャア、ここで止めるしかないのか! アムロ:ならあいつは全…

#自然言語処理#GPT-2#ガンダム