tiktoken

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

nikkie-ftnextの日記•2年前

Q: ChatGPT(gpt-3.5-turbo)の最大トークン数は4096です。なので、プロンプトの長さが30000文字を超えるときに回答を得ることはできない。◯か☓か

答えは☓(バツ) 最大トークン数（max tokens）は40961ですが、プロンプトを工夫すれば30000字を超える長さであっても回答を得られます！なお、この知見は「へぇ」レベルで、LLMを使っていく上では役に立たないと思います（ここで引き返してもええんやで）。目次答えは☓(バツ) 目次先行研究：区切り線は2の冪乗で1トークン 2の12乗（4096文字）の区切り線でもいけるってこと？動作環境 4096文字の区切り線を含んだプロンプトを送る 2の12乗（4096）文字の区切り線をtiktokenで見てみる 2の冪乗の文字数の区切り線は64文字で1トークンと効率よくトークン化されるので…

#ChatGPT#GPT-3.5#トークン#効率がいい#tiktoken

関連ブログ

nikkie-ftnextの日記•2年前

ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく

はじめにこれも1つの願いの鍵探し1、nikkieです。先日tiktokenデビューし、ChatGPTのAPIを呼び出さずに入力トークン長が分かるようになりました。その中で、ASCII以外の文字（例：日本語）については、トークン（bytesオブジェクト）がそのままでは読み解けませんでした。読み解くための方法についてこのエントリでアウトプットします。目次はじめに目次前回のtiktoken！英語の場合日本語の場合 Encodingでデコードして得られたbytesのリストと、元の文字列との対応を取りたい nikkieが唯一知っていたこと：strとbytesは相互に変換できる元の文…

#ChatGPT#tiktoken#トークン#トークン化

nikkie-ftnextの日記•2年前

TikTokデビューならぬ、tiktokenデビュー！ ChatGPT APIに送らずして入力トークン長が分かるんです

はじめに TikTokerじゃなくて、えぬえるぴーや1なnikkieです。久しぶりのChatGPTネタです2。 ChatGPT（やLLM）ではトークンの長さに関心が向くことがあります。そのトークンについて、OpenAI製のライブラリtiktokenの存在を知りました3。素振りして分かったことをアウトプットします。目次はじめに目次 tiktokenを知るまで ChatGPTとトークントークンの例（英語）入出力するトークンに課金出力トークン数の制御 tiktoken素振りはじめ動作環境 Encodingインスタンスを取得テキストをトークンにエンコード（encoding.enc…

#ChatGPT#トークン#tiktoken