Azure OpenAIではGPT系の自然言語処理モデルを使用してさまざまなタスクを処理することができます。 APIを使用するために料金が発生しますが、リクエストごとにどの程度の料金が発生するのかを知る必要があります。またモデル毎の上限トークンを考慮してアプリを設計する必要があります。 本記事ではトークンの考え方と計算方法について解説します。 概要 トークンとは? 実際に消費されるトークン数は? トークンを計算する ブラウザから計算する プログラム上で計算する tiktoken GPT2TokenizerFast その他 トークン消費数の例 結論 おわりに 概要 Azure OpenAI Se…