無需綁卡。註冊後,點擊一次即可領取 $0.50 免費試用額度(每人限領一次)。
取得 API 金鑰重點摘要
- 對於英文文本,字元數除以四可得出可用的 token 估算值。加上 20% 作為安全邊際。
- 計算你發送的所有內容:系統提示詞、完整的聊天歷史記錄、文件以及工具定義。
- 提示詞與補完必須符合 100,000 token 的上下文視窗,因此在發送前請檢查總和。
- 使用 max_tokens 為成本輸出的那一端設下上限。
快速估算
你在按下發送鍵之前想要一個數字,因為該數字能告訴你請求是否符合條件,以及大致成本為何。英文散文的捷徑是:
- token 數量約為字元數除以 4,或
- token 數量約為單字數乘以 1.33。
因此,12,000 個字元的提示詞約為 3,000 個 token。500 個單字的頁面約為 670 個 token。這些是平均值。其他語言、原始碼以及充滿數字或符號的文字,其每字元使用的 token 數往往高於純英文,因此估算值會有所偏差。請將結果視為規劃數字,並加上約 20% 的邊際。
該邊際將估算值轉為安全的上限。我們的 12,000 個字元提示詞在規劃時變為 3,000 x 1.2 = 3,600 個 token。
計入項目的內容
人們常低估,因為他們只測量最後一條使用者訊息。模型看到的遠不止這些,且每個部分都作為輸入計費。將以下所有項目加總:
- 系統提示詞。 如果你在其中保留長篇的人格或風格指南,每次呼叫都會為此付費。
- 完整的對話歷史記錄。 API 不會記住之前的對話輪次。你會重新發送它們,因此它們每次都會再次計費。
- 你貼入提示詞的文件和檢索片段。
- 工具定義和 JSON 結構定義,如果你使用函式呼叫或結構化輸出格式。它們會隨請求一起傳送,因此請將它們視為輸入 token 來規劃。
- 訊息角色的少量格式開銷。每則訊息僅需幾個 token,但 20% 的邊際已涵蓋此部分。
在輸出端只有一項:回覆。你無法精確控制其長度,但你可以設定上限,這將帶我們進入下一節。
使用小型函式計算 token
這裡有一個簡短的 Python 輔助函式。它根據所有訊息文字估算提示詞,套用邊際,並根據你計劃設定的 max_tokens 回傳最壞情況的成本。
import math
INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000
def plan(messages, max_tokens, margin=1.2):
chars = sum(len(m["content"]) for m in messages)
prompt = math.ceil(chars / 4 * margin)
if prompt + max_tokens > WINDOW:
raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
return prompt, worst
messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800)) # (3600, 0.00094)將之前 12,000 個字元的提示詞與 max_tokens=800 餵入該函式,你會得到 3,600 個輸入 token,以及最壞情況下的 3,600 / 1,000,000 x $0.15 + 800 / 1,000,000 x $0.50 = $0.00054 + $0.0004 = $0.00094。不到十分之一美分,且上限在事前已知。
逐步估算聊天請求
取一個典型的聊天呼叫並用該規則進行推導。系統提示詞為 800 個字元。歷史記錄包含六條之前的訊息,平均每條 600 個字元,總計 3,600。新的使用者訊息為 400 個字元。
- 字元總數:800 + 3,600 + 400 = 4,800。
- 原始估算:4,800 / 4 = 1,200 個 token。
- 加上 20% 邊際:1,200 x 1.2 = 1,440 個 token。
- 將
max_tokens設為 500 以限制回覆。 - 最壞情況成本:1,440 / 1,000,000 x $0.15 = $0.000216,加上 500 / 1,000,000 x $0.50 = $0.00025,總計 $0.000466。
此處的視窗檢查很簡單,1,440 + 500 遠低於 100,000。相同方法可擴展至批次作業。對於 2,000 份每份 6,000 個字元的文件,一份文件為 1,500 個 token,加上邊際後為 1,800。這將產生 3,600,000 個輸入 token,價值 $0.54。若每份限制 200 個輸出 token,則需額外增加 400,000 個 token,價值 $0.20,整個批次的上限為 $0.74。在第一則請求離開你的機器之前,你就已知道最大成本。
經驗法則最不準確的情況
四字元法則是基於英文散文建立的。其他語言的文字、原始碼、表格、長數字和 emoji 傾向於分割成更小的片段,因此實際計數會高於估算值。對於這些輸入,在第一次嘗試時將邊際提高至 30 或 40 百分比,然後使用你自己記錄的用量資料測得的比率來取代估算值。
保持在 100,000-token 上下文視窗內
上下文視窗由提示詞和回覆共享。這使得檢查成為一個總和,而非單一比較:估算的提示詞加上你允許的回覆總和必須為 100,000 或更少。
一個實作案例。你有一個 300,000 個字元的檔案需要分析。
- 估算:300,000 / 4 = 75,000 個 token。
- 加上 20% 邊際:90,000 個 token。
- 回覆剩餘空間:100,000 - 90,000 = 10,000 個 token。這足以進行長篇摘要,因此符合條件。
現在嘗試一個 360,000 個字元的檔案。原始估算為 90,000 個 token,加上邊際後為 108,000,這甚至在為答案保留空間之前就已超過限制。你需要分割檔案、分批發送,或對每個部分進行摘要並合併摘要。
記住聊天也適用此規則。因為歷史記錄在每輪都會重新發送,從幾百個 token 開始的對話可能會逐漸接近限制。在總和接近之前,請截斷舊的輪次,或將其替換為短摘要。
截斷歷史記錄以符合限制
當總和超出時,首先移除最舊的輪次並保留系統提示詞。從最新的訊息開始倒序進行,將每則訊息加入累計字元總數,當估算值加上你的回覆上限達到你設定的限制時停止。許多團隊選擇遠低於 100,000 的工作限制,例如 30,000 個 token,因為較短的提示詞處理速度更快且發送成本更低。將被移除輪次的短摘要寫一次並保留在歷史記錄的頂部,即可在不為每個舊字詞付費的情況下保留對話線索。
為回覆設下上限
輸出 token 的成本為每 1M $0.50,略高於 $0.15 的輸入費率,且你無法事先知道回覆長度。你可以做的是設定 max_tokens。模型在達到上限時會停止,因此帳單的輸出端永遠不會超過該 token 數量。
根據任務選擇上限。分類或是非檢查需要 10 到 50 個 token。段落式回答可能需要 300 個。故事場景可能需要 2,000 個。如果你省略該參數,回覆將自由使用剩餘的上下文視窗,這對於長篇寫作很合適,但對於短回答則會造成浪費。
一個注意事項:過小的上限會在中途截斷回覆。請查看回應中的 finish_reason。如果它指出輸出因長度而被截斷,請提高上限或要求模型提供更短的答案。
將估算值與實際計數進行比對
每次呼叫後,回應會在 usage 區塊中提供實際的提示詞和回覆 token 計數。串流輸出的回應會在串流結束時報告用量。將這些數據與你的估算值並列記錄一週,並查看比率。
curl -i https://api.llmtokenprices.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"max_tokens": 100,
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'-i 旗標會列印回應標頭,包括 X-Balance-USD。比對一批呼叫前後的餘額,它應該與根據用量數字計算出的成本相符。
如果你的估算值持續偏低,例如低 15%,請提高邊際。非英文語言和程式碼密集的提示詞通常需要更大的邊際。實際數據讓你只需調整一次即可停止擔憂。
下一步該去哪
一旦你能評估請求規模,下一步就是將其轉化為預算。定價頁面列出了費率和儲值獎金,而 快速入門展示了多種語言的請求格式。如果你尚未進行呼叫,請在 API 金鑰頁面取得金鑰;一次點擊即可獲得 $0.50 的免費試用額度,足以讓你進行第一次 12 次估算並與實際情況進行比對。
