繁中 ▾

如何在發送請求前計算 LLM 請求的 token 數量

以下說明如何在發送請求前計算 LLM 請求中的 token 數量:將字元數除以四,加上餘量,並使用 max_tokens 限制回覆長度。API 隨後會報告精確的數字,以便你核對估算值。

更新於

放大鏡下,測量著被分割成多彩小段紙帶的尺

無需綁卡。註冊後,點擊一次即可領取 $0.50 免費試用額度(每人限領一次)。

取得 API 金鑰

重點摘要

  • 對於英文文本,字元數除以四可得出可用的 token 估算值。加上 20% 作為安全邊際。
  • 計算你發送的所有內容:系統提示詞、完整的聊天歷史記錄、文件以及工具定義。
  • 提示詞與補完必須符合 100,000 token 的上下文視窗,因此在發送前請檢查總和。
  • 使用 max_tokens 為成本輸出的那一端設下上限。

快速估算

你在按下發送鍵之前想要一個數字,因為該數字能告訴你請求是否符合條件,以及大致成本為何。英文散文的捷徑是:

  • token 數量約為字元數除以 4,或
  • token 數量約為單字數乘以 1.33。

因此,12,000 個字元的提示詞約為 3,000 個 token。500 個單字的頁面約為 670 個 token。這些是平均值。其他語言、原始碼以及充滿數字或符號的文字,其每字元使用的 token 數往往高於純英文,因此估算值會有所偏差。請將結果視為規劃數字,並加上約 20% 的邊際。

該邊際將估算值轉為安全的上限。我們的 12,000 個字元提示詞在規劃時變為 3,000 x 1.2 = 3,600 個 token。

計入項目的內容

人們常低估,因為他們只測量最後一條使用者訊息。模型看到的遠不止這些,且每個部分都作為輸入計費。將以下所有項目加總:

  1. 系統提示詞。 如果你在其中保留長篇的人格或風格指南,每次呼叫都會為此付費。
  2. 完整的對話歷史記錄。 API 不會記住之前的對話輪次。你會重新發送它們,因此它們每次都會再次計費。
  3. 你貼入提示詞的文件和檢索片段。
  4. 工具定義和 JSON 結構定義,如果你使用函式呼叫或結構化輸出格式。它們會隨請求一起傳送,因此請將它們視為輸入 token 來規劃。
  5. 訊息角色的少量格式開銷。每則訊息僅需幾個 token,但 20% 的邊際已涵蓋此部分。

在輸出端只有一項:回覆。你無法精確控制其長度,但你可以設定上限,這將帶我們進入下一節。

使用小型函式計算 token

這裡有一個簡短的 Python 輔助函式。它根據所有訊息文字估算提示詞,套用邊際,並根據你計劃設定的 max_tokens 回傳最壞情況的成本。

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

將之前 12,000 個字元的提示詞與 max_tokens=800 餵入該函式,你會得到 3,600 個輸入 token,以及最壞情況下的 3,600 / 1,000,000 x $0.15 + 800 / 1,000,000 x $0.50 = $0.00054 + $0.0004 = $0.00094。不到十分之一美分,且上限在事前已知。

逐步估算聊天請求

取一個典型的聊天呼叫並用該規則進行推導。系統提示詞為 800 個字元。歷史記錄包含六條之前的訊息,平均每條 600 個字元,總計 3,600。新的使用者訊息為 400 個字元。

  1. 字元總數:800 + 3,600 + 400 = 4,800。
  2. 原始估算:4,800 / 4 = 1,200 個 token。
  3. 加上 20% 邊際:1,200 x 1.2 = 1,440 個 token。
  4. 將 max_tokens 設為 500 以限制回覆。
  5. 最壞情況成本:1,440 / 1,000,000 x $0.15 = $0.000216,加上 500 / 1,000,000 x $0.50 = $0.00025,總計 $0.000466。

此處的視窗檢查很簡單,1,440 + 500 遠低於 100,000。相同方法可擴展至批次作業。對於 2,000 份每份 6,000 個字元的文件,一份文件為 1,500 個 token,加上邊際後為 1,800。這將產生 3,600,000 個輸入 token,價值 $0.54。若每份限制 200 個輸出 token,則需額外增加 400,000 個 token,價值 $0.20,整個批次的上限為 $0.74。在第一則請求離開你的機器之前,你就已知道最大成本。

經驗法則最不準確的情況

四字元法則是基於英文散文建立的。其他語言的文字、原始碼、表格、長數字和 emoji 傾向於分割成更小的片段,因此實際計數會高於估算值。對於這些輸入,在第一次嘗試時將邊際提高至 30 或 40 百分比,然後使用你自己記錄的用量資料測得的比率來取代估算值。

保持在 100,000-token 上下文視窗內

上下文視窗由提示詞和回覆共享。這使得檢查成為一個總和,而非單一比較:估算的提示詞加上你允許的回覆總和必須為 100,000 或更少。

一個實作案例。你有一個 300,000 個字元的檔案需要分析。

  • 估算:300,000 / 4 = 75,000 個 token。
  • 加上 20% 邊際:90,000 個 token。
  • 回覆剩餘空間:100,000 - 90,000 = 10,000 個 token。這足以進行長篇摘要,因此符合條件。

現在嘗試一個 360,000 個字元的檔案。原始估算為 90,000 個 token,加上邊際後為 108,000,這甚至在為答案保留空間之前就已超過限制。你需要分割檔案、分批發送,或對每個部分進行摘要並合併摘要。

記住聊天也適用此規則。因為歷史記錄在每輪都會重新發送,從幾百個 token 開始的對話可能會逐漸接近限制。在總和接近之前,請截斷舊的輪次,或將其替換為短摘要。

截斷歷史記錄以符合限制

當總和超出時,首先移除最舊的輪次並保留系統提示詞。從最新的訊息開始倒序進行,將每則訊息加入累計字元總數,當估算值加上你的回覆上限達到你設定的限制時停止。許多團隊選擇遠低於 100,000 的工作限制,例如 30,000 個 token,因為較短的提示詞處理速度更快且發送成本更低。將被移除輪次的短摘要寫一次並保留在歷史記錄的頂部,即可在不為每個舊字詞付費的情況下保留對話線索。

為回覆設下上限

輸出 token 的成本為每 1M $0.50,略高於 $0.15 的輸入費率,且你無法事先知道回覆長度。你可以做的是設定 max_tokens。模型在達到上限時會停止,因此帳單的輸出端永遠不會超過該 token 數量。

根據任務選擇上限。分類或是非檢查需要 10 到 50 個 token。段落式回答可能需要 300 個。故事場景可能需要 2,000 個。如果你省略該參數,回覆將自由使用剩餘的上下文視窗,這對於長篇寫作很合適,但對於短回答則會造成浪費。

一個注意事項:過小的上限會在中途截斷回覆。請查看回應中的 finish_reason。如果它指出輸出因長度而被截斷,請提高上限或要求模型提供更短的答案。

將估算值與實際計數進行比對

每次呼叫後,回應會在 usage 區塊中提供實際的提示詞和回覆 token 計數。串流輸出的回應會在串流結束時報告用量。將這些數據與你的估算值並列記錄一週,並查看比率。

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

-i 旗標會列印回應標頭,包括 X-Balance-USD。比對一批呼叫前後的餘額,它應該與根據用量數字計算出的成本相符。

如果你的估算值持續偏低,例如低 15%,請提高邊際。非英文語言和程式碼密集的提示詞通常需要更大的邊際。實際數據讓你只需調整一次即可停止擔憂。

下一步該去哪

一旦你能評估請求規模,下一步就是將其轉化為預算。定價頁面列出了費率和儲值獎金,而 快速入門展示了多種語言的請求格式。如果你尚未進行呼叫,請在 API 金鑰頁面取得金鑰;一次點擊即可獲得 $0.50 的免費試用額度,足以讓你進行第一次 12 次估算並與實際情況進行比對。

問答

在發送請求前,我能精確計算 token 數量嗎?

無法可靠地透過通用工具進行。模型擁有自己的 tokenizer,因此來自其他 tokenizer 的計數僅為估算值。精確的數字會在呼叫後的 usage 資料中回傳。

估算英文文本最快的方法是什麼?

將字元數除以四。對於單字,則乘以 1.33。這兩種方法都相當粗略,且對一般散文效果最佳。

工具定義與 JSON 結構描述是否計入輸入?

它們是你發送請求的一部分,因此請將它們視為輸入 token 進行規劃。透過測量包含與不包含這些定義的請求,即可看出差異。

如何避免單一請求產生過高費用?

設定 max_tokens 以限制回覆長度,並在發送前截斷聊天歷史記錄。兩者結合即可為帳單的兩端設定上限。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰