无需绑卡。注册后,一键领取 $0.50免费试用额度(每人限领一次)。
获取 API 密钥要点
- 对于英文文本,字符数除以四可得可用的 token 估算值。增加 20% 作为安全余量。
- 计算你发送的所有内容:系统提示词、完整聊天历史、文档和工具定义。
- 提示词和补全内容必须适应 100,000 token 的上下文窗口,因此在发送前请检查总和。
- 使用 max_tokens 在成本输出的那一端设置上限。
快速估算
在点击发送前,你需要一个数字,因为该数字能告诉你请求是否可行,以及大致成本。英文文本的速算方法是:
- token 数量约为字符数除以 4,或
- token 数量约为单词数乘以 1.33。
因此,12,000 个字符的提示词大约对应 3,000 个 token。500 词的页面大约对应 670 个 token。这些是平均值。其他语言、源代码以及包含大量数字或符号的文本的计数会偏离该平均值,因为它们的字符到 token 的转换率通常高于纯英语。将结果视为规划数值,并增加约 20% 的余量。
该余量将估算值转化为安全上限。我们的 12,000 字符提示词变为 3,000 x 1.2 = 3,600 个 token,用于规划目的。
计入计数的内容
人们往往少计,因为他们只测量最后一条用户消息。模型看到的远不止这些,且每一部分都作为输入计费。将所有这些加起来:
- 系统提示词。 如果你在其中保留长人设或风格指南,每次调用都会为此付费。
- 完整的对话历史。 API 不会记住之前的对话轮次。你需要重新发送它们,因此它们每次都会重新计入。
- 你粘贴到提示词中的文档和检索片段
- 如果你使用函数调用或结构化输出格式,则包括工具定义和 JSON 模式。它们随请求一起发送,因此计划将它们计入输入。
- 消息角色的少量格式开销。每条消息仅几个 token,但 20% 的余量可以覆盖它。
在输出端只有一项:回复。你无法精确控制其长度,但你可以限制它,这引出了下一节。
使用小型函数计算 token
这里有一个简短的 Python 辅助函数。它根据所有消息文本估算提示词,应用余量,并返回基于你计划设置的 max_tokens 的最坏情况成本。
import math
INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000
def plan(messages, max_tokens, margin=1.2):
chars = sum(len(m["content"]) for m in messages)
prompt = math.ceil(chars / 4 * margin)
if prompt + max_tokens > WINDOW:
raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
return prompt, worst
messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800)) # (3600, 0.00094)用之前的 12,000 字符提示词和 max_tokens=800 喂给它,你会得到 3,600 个输入 token,最坏情况为 3,600 / 1,000,000 x $0.15 + 800 / 1,000,000 x $0.50 = $0.00054 + $0.0004 = $0.00094。不到十分之一美分,且上限在事前已知。
逐步估算聊天请求
以一个典型的聊天调用为例,用该规则逐步分析。系统提示词为 800 字符。历史记录包含六条早期消息,平均每条 600 字符,共 3,600。新的用户消息为 400 字符。
- 字符总数:800 + 3,600 + 400 = 4,800。
- 原始估算:4,800 / 4 = 1,200 个 token。
- 加上 20% 余量:1,200 x 1.2 = 1,440 个 token。
- 将
max_tokens设置为 500 以限制回复。 - 最坏情况成本:1,440 / 1,000,000 x $0.15 = $0.000216,加上 500 / 1,000,000 x $0.50 = $0.00025,即 $0.000466。
上下文窗口检查在这里很简单,1,440 + 500 远低于 100,000。相同的方法可扩展到批量作业。对于 2,000 个每个 6,000 字符的文档,一个文档是 1,500 个 token,加上余量是 1,800。这是 3,600,000 个输入 token,价值 $0.54。加上每个 200 个输出 token 的限制,你增加 400,000 个 token,价值 $0.20,整个批次的上限为 $0.74。在第一个请求离开你的机器之前,你就知道最大值。
经验法则最弱的时候
四字符规则基于英文文本建立。其他语言、源代码、表格、长数字和表情符号倾向于拆分为更小的片段,因此实际计数会高于估算值。对于这些输入,在第一次估算时将余量提高到 30% 或 40%,然后用你自己记录的 usage 数据测得的比率替换估算值。
保持在 100,000-token 上下文窗口内
上下文窗口由提示词和回复共享。这使得检查成为一个总和,而不是单个比较:估算的提示词加上你允许的回复总和必须等于或小于 100,000。
一个工作案例。你有一个 300,000 字符的文件要分析。
- 估算:300,000 / 4 = 75,000 个 token。
- 加上 20% 余量:90,000 个 token。
- 留给回复的空间:100,000 - 90,000 = 10,000 个 token。这足以进行长摘要,因此可行。
现在尝试一个 360,000 字符的文件。原始估算为 90,000 个 token,加上余量为 108,000,这甚至在你留出回答空间之前就已经超过了限制。你需要拆分文件,分部分发送,或者对每个部分进行摘要并组合摘要。
记住聊天的规则。因为历史在每轮中都会重新发送,起初只有几百个 token 的对话可能会逐渐接近限制。在总和接近之前,精简旧轮次,或用短摘要替换它们。
精简历史以适配
当总和超出时,首先删除最旧的轮次并保留系统提示词。从最新消息开始向后遍历,将每条消息添加到运行字符总数中,当估算值加上你的回复上限达到你为自己设定的限制时停止。许多团队选择一个远低于 100,000 的工作限制,例如 30,000 个 token,因为较短的提示词处理速度更快且发送成本更低。一次编写并保留在历史记录顶部的已删除轮次的短摘要,可以在不为每个旧词再次付费的情况下保持对话线程。
限制回复
输出 token 的成本为每 1M $0.50,略高于 $0.15 的输入费率,且你无法提前知道回复长度。你可以做的是设置 max_tokens。模型在达到上限时停止,因此账单的输出端永远不会超过该数量的 token。
从任务中选择上限。分类或是否检查需要 10 到 50 个 token。段落答案可能需要 300 个。故事场景可能需要 2,000 个。如果省略该参数,回复可以自由使用剩余上下文窗口,这对于长篇写作很好,但对于短答案则浪费。
一个警告:过小的上限会在句子中间切断回复。查看响应中的 finish_reason。如果它表示输出因长度被截断,请提高上限或要求模型提供更短的答案。
将估算值与实际计数进行对比
每次调用后,响应会在其 usage 块中提供真实的提示词和补全 token 计数。流式输出会在流结束时报告 usage。将这些数据与你的估算值一起记录一周,然后查看比率。
curl -i https://api.llmtokenprices.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"max_tokens": 100,
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'-i 标志打印响应头,包括 X-Balance-USD。比较一批调用前后的余额,它应该与根据 usage 数字计算的成本匹配。
如果你的估算值 持续偏低,例如低 15%,请增加余量。英语以外的语言以及代码密集的提示词通常需要更大的余量。实际数据让你只需调整一次,之后便无需再担心。
下一步操作
一旦你能估算请求的大小,下一步就是将其转化为预算。定价页面 列出了费率和充值优惠,快速入门 展示了多种语言的请求格式。如果你尚未发起调用,请在 API 密钥页面 获取密钥;一键领取的 $0.50试用额度足以让你用实际数据运行最初的 12 次估算。
