JA ▾

送信前にLLMリクエストのトークンを計算する方法

送信前にトークンを計算する方法:文字数を4で割り、マージンを加え、max_tokensで返信を制限します。APIは正確な数値を報告するため、推定値を確認できます。

更新日:

ルーペの下で小さなカラフルな区画に分けられた紙のリボンをはかる定規

カード不要。サインアップ後、ワンクリックで$0.50の無料テストクレジットを請求できます(1人1回限り)。

API キーを取得

主要ポイント

  • 英語テキストの場合、文字数を4で割ると実用的なトークン推定値が得られます。安全マージンとして20%を加算します。
  • 送信するものをすべてカウントします:システムプロンプト、完全なチャット履歴、ドキュメント、およびツール定義。
  • プロンプトと補完は100,000トークンのウィンドウに収まる必要があるため、送信前に合計を確認してください。
  • max_tokensを使用して、コストの出力側に天井を設けます。

迅速な推定

送信ボタンを押す前に数値を知りたいのは、その数値がリクエストが収まるかどうか、そしておよそどれくらいかかるかを示すからです。英語の文章に対するショートカットは次の通りです:

  • トークンは約 文字数 ÷ 4、または
  • トークンは約 単語数 × 1.33 です。

したがって、12,000文字のプロンプトは約3,000トークンになります。500語のページは約670トークンです。これらは平均値であり、他の言語やソースコード、数字や記号が多いテキストでは、1文字あたりのトークン使用量が多くなる傾向があるため、値は変動します。これは計画の数値として扱い、約20%のマージンを加算してください。

そのマージンは推定値を安全な上限値に変えます。私たちの12,000文字のプロンプトは、計画目的で3,000 x 1.2 = 3,600トークンになります。

カウントに含まれるもの

人々は最後のユーザーメッセージのみを測定するため、数を少なく見積もります。モデルはそれよりもはるかに多くのものを見ており、すべての部分が入力として請求されます。これらすべてを合計してください:

  1. システムプロンプト。 そこに長いペルソナやスタイルガイドを保持している場合、それはすべての呼び出しで課金されます。
  2. 完全な会話履歴。 APIは以前のターンを記憶しません。それらを再送信するため、毎回カウントされます。
  3. プロンプトに貼り付けるドキュメントと取得したスニペット
  4. ツール呼び出しまたは構造化出力形式を使用する場合のツール定義とJSONスキーマ。それらはリクエストとともに送信されるため、入力としてカウントされるように計画してください。
  5. メッセージロールの小さなフォーマットオーバーヘッド。メッセージごとに数トークンですが、20%のマージンでカバーできます。

出力側には1つの項目しかありません:返信です。長さを正確に制御できませんが、制限することはできます。これが次のセクションにつながります。

小さな関数でのトークンカウント

ここに短いPythonヘルパーがあります。これはすべてのメッセージテキストからプロンプトを推定し、マージンを適用し、設定する予定のmax_tokensに基づいて最悪の場合のコストを返します。

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

先ほどの12,000文字のプロンプトにmax_tokens=800を指定して入力すると、入力は3,600トークン、最悪ケースでは3,600 / 1,000,000 x $0.15 + 800 / 1,000,000 x $0.50 = $0.00054 + $0.0004 = $0.00094となります。0.1セント未満で、上限は事前に明確です。

チャットリクエストの段階的な推定

典型的なチャット呼び出しを取り、ルールに沿って手順を追います。システムプロンプトは800文字です。履歴には6つの以前のメッセージが含まれており、それぞれ平均600文字で、合計3,600です。新しいユーザーメッセージは400文字です。

  1. 文字の合計:800 + 3,600 + 400 = 4,800。
  2. 生の推定値:4,800 / 4 = 1,200トークン。
  3. 20%のマージンを含む:1,200 x 1.2 = 1,440トークン。
  4. 返信に対してmax_tokensを500に設定します。
  5. 最悪の場合のコスト:1,440 / 1,000,000 x $0.15 = $0.000216、プラス 500 / 1,000,000 x $0.50 = $0.00025、合計$0.000466。

ウィンドウのチェックはここでは簡単です。1,440 + 500は100,000を大幅に下回ります。同じ方法はバッチジョブにスケーリングできます。6,000文字の2,000ドキュメントの場合、1つのドキュメントは1,500トークン、またはマージン込みで1,800トークンです。これは3,600,000の入力トークンで、価値は$0.54です。各200出力トークンのキャップを追加すると、400,000トークン、価値$0.20が加わり、バッチ全体の天井は$0.74になります。最初のリクエストがマシンを出る前に最大値がわかります。

経験則が最も弱くなる場合

4文字のルールは英語の文章に基づいています。他の言語のテキスト、ソースコード、表、長い数字、絵文字は小さなピースに分割される傾向があるため、実際の数は推定値よりも高くなります。それらの入力の場合、最初のパスでマージンを30〜40%に上げ、その後、自分のログされた使用データから測定した比率で推測値を置き換えてください。

100,000トークンのウィンドウ内に留まる

ウィンドウはプロンプトと補完で共有されます。そのため、チェックは単一の比較ではなく合計になります:推定プロンプトと許可する返信の合計が100,000以下になる必要があります。

具体的なケース。分析する300,000文字のファイルがあります。

  • 推定値:300,000 / 4 = 75,000トークン。
  • 20%のマージンを含む:90,000トークン。
  • 返信に残された余地:100,000 - 90,000 = 10,000トークン。これは長い要約には十分であり、収まります。

次に360,000文字のファイルを試してみましょう。生の推定値は90,000トークンで、マージン込みでは108,000となり、答えの余地を残す前にすでに制限を超えています。ファイルを分割するか、パートごとに送信するか、各パートを要約して結合する必要があります。

チャットにもルールを覚えておいてください。履歴は各ターンで再送信されるため、数百トークンから始まった会話が制限に近づいていくことがあります。合計が近づいたら、古いターンを切り詰めるか、短い要約に置き換えてください。

収まるように履歴を切り詰める

合計が超過した場合、まず最も古いターンを削除し、システムプロンプトを保持します。最新のメッセージから逆方向に歩き、各メッセージを実行中の文字合計に追加し、推定値と返信のキャップの合計が自分で設定した制限に達した時点で停止します。多くのチームは、短いプロンプトが処理が速く、送信コストが安いため、100,000より十分に低い作業制限(例:30,000トークン)を選択します。削除されたターンの短い要約を1回書き、履歴のトップに保持することで、会話のスレッドを維持し、古い単語すべてに再び支払うことなく済みます。

返信に天井を設ける

出力トークンは100万トークンあたり$0.50で、入力料率の$0.15の3倍強です。返信の長さを事前に知ることはできませんが、max_tokensを設定することで制御できます。モデルは上限に達すると停止するため、請求の出力側は常にそのトークン数を超えません。

タスクからキャップを選択します。分類やはい/いいえのチェックには10〜50トークンが必要です。段落の回答にはおそらく300必要です。ストーリーのシーンには2,000必要かもしれません。パラメータを省略すると、補完はウィンドウの残りを自由に使用できるため、長文の執筆には適していますが、短い回答には無駄になります。

注意点:小さすぎるキャップは返信を途中の文で切り捨てます。レスポンスのfinish_reasonを確認してください。出力が長さによって切り捨てられたと表示される場合、キャップを上げるか、モデルに短い回答を依頼してください。

推定値を実際のカウントと比較する

各呼び出しの後、レスポンスはusageブロックに実際のプロンプトと補完のトークン数を提供します。ストリーミングレスポンスはストリームの最後に使用状況を報告します。推定値の横にこれらを1週間ログし、比率を確認してください。

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

-iフラグは、X-Balance-USDを含むレスポンスヘッダーを出力します。バッチ呼び出し前後の残高を比較すると、使用量から計算されたコストと一致するはずです。

推定値が一貫して低い場合(例:15%)、マージンを上げてください。英語以外の言語やコード集中型のプロンプトは通常、より大きなマージンが必要です。実際の数値により、1回調整するだけで心配がなくなります。

次のステップ

リクエストの規模を把握できたら、次は予算に変換します。価格ページにはレートとチャージボーナスが記載されており、クイックスタートでは複数の言語でリクエスト形式が示されています。まだ呼び出しを行っていない場合は、APIキーページでキーを取得してください。ワンクリックの$0.50無料トライアルクレジットで、最初の12回の呼び出しを現実と照合するのに十分です。

質問と回答

リクエスト送信前にトークンを正確にカウントできますか?

汎用ツールでは正確にカウントできません。モデルには独自のトークナイザーがあるため、他のトークナイザーからのカウントは見積もりになります。正確な数は、呼び出し後の使用データで返されます。

英語テキストの最も迅速な見積もり方法は?

文字数を4で割ります。単語の場合は1.33を掛けます。どちらも大まかな見積もりであり、通常の文章で最もよく機能します。

ツール定義やJSONスキーマは入力としてカウントされますか?

これらは送信するリクエストの一部であるため、入力トークンとしてカウントされるように計画してください。それらを含める場合と含めない場合でリクエストを測定し、差を確認してください。

1つのリクエストが高額になるのをどうやって防げばよいですか?

max_tokensを設定して返信を制限し、送信前にチャット履歴を削減します。これらを組み合わせることで、両端に上限を設けることができます。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得