tiktoken

はじめに これも1つの願いの鍵探し1、nikkieです。 先日tiktokenデビューし、ChatGPTのAPIを呼び出さずに入力トークン長が分かるようになりました。 その中で、ASCII以外の文字（例：日本語）については、トークン（bytesオブジェクト）がそのままでは読み解けませんでした。 読み解くための方法についてこのエントリでアウトプットします。 目次 はじめに 目次 前回のtiktoken！ 英語の場合 日本語の場合 Encodingでデコードして得られたbytesのリストと、元の文字列との対応を取りたい nikkieが唯一知っていたこと：strとbytesは相互に変換できる 元の文…

はじめに TikTokerじゃなくて、えぬえるぴーや1なnikkieです。 久しぶりのChatGPTネタです2。 ChatGPT（やLLM）ではトークンの長さに関心が向くことがあります。 そのトークンについて、OpenAI製のライブラリtiktokenの存在を知りました3。 素振りして分かったことをアウトプットします。 目次 はじめに 目次 tiktokenを知るまで ChatGPTとトークン トークンの例（英語） 入出力するトークンに課金 出力トークン数の制御 tiktoken素振りはじめ 動作環境 Encodingインスタンスを取得 テキストをトークンにエンコード（encoding.enc…