中文 ▾

发送前如何计算 LLM 请求中的 token

以下是发送请求前计算 token 的方法:将字符数除以四,加上余量,并使用 max_tokens 限制回复。API 随后会报告精确数字,以便你核对估算值。

更新于

放大镜下,尺子测量着被分割成多彩小段的纸带

无需绑卡。注册后,一键领取 $0.50免费试用额度(每人限领一次)。

获取 API 密钥

要点

  • 对于英文文本,字符数除以四可得可用的 token 估算值。增加 20% 作为安全余量。
  • 计算你发送的所有内容:系统提示词、完整聊天历史、文档和工具定义。
  • 提示词和补全内容必须适应 100,000 token 的上下文窗口,因此在发送前请检查总和。
  • 使用 max_tokens 在成本输出的那一端设置上限。

快速估算

在点击发送前,你需要一个数字,因为该数字能告诉你请求是否可行,以及大致成本。英文文本的速算方法是:

  • token 数量约为字符数除以 4,或
  • token 数量约为单词数乘以 1.33。

因此,12,000 个字符的提示词大约对应 3,000 个 token。500 词的页面大约对应 670 个 token。这些是平均值。其他语言、源代码以及包含大量数字或符号的文本的计数会偏离该平均值,因为它们的字符到 token 的转换率通常高于纯英语。将结果视为规划数值,并增加约 20% 的余量。

该余量将估算值转化为安全上限。我们的 12,000 字符提示词变为 3,000 x 1.2 = 3,600 个 token,用于规划目的。

计入计数的内容

人们往往少计,因为他们只测量最后一条用户消息。模型看到的远不止这些,且每一部分都作为输入计费。将所有这些加起来:

  1. 系统提示词。 如果你在其中保留长人设或风格指南,每次调用都会为此付费。
  2. 完整的对话历史。 API 不会记住之前的对话轮次。你需要重新发送它们,因此它们每次都会重新计入。
  3. 你粘贴到提示词中的文档和检索片段
  4. 如果你使用函数调用或结构化输出格式,则包括工具定义和 JSON 模式。它们随请求一起发送,因此计划将它们计入输入。
  5. 消息角色的少量格式开销。每条消息仅几个 token,但 20% 的余量可以覆盖它。

在输出端只有一项:回复。你无法精确控制其长度,但你可以限制它,这引出了下一节。

使用小型函数计算 token

这里有一个简短的 Python 辅助函数。它根据所有消息文本估算提示词,应用余量,并返回基于你计划设置的 max_tokens 的最坏情况成本。

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

用之前的 12,000 字符提示词和 max_tokens=800 喂给它,你会得到 3,600 个输入 token,最坏情况为 3,600 / 1,000,000 x $0.15 + 800 / 1,000,000 x $0.50 = $0.00054 + $0.0004 = $0.00094。不到十分之一美分,且上限在事前已知。

逐步估算聊天请求

以一个典型的聊天调用为例,用该规则逐步分析。系统提示词为 800 字符。历史记录包含六条早期消息,平均每条 600 字符,共 3,600。新的用户消息为 400 字符。

  1. 字符总数:800 + 3,600 + 400 = 4,800。
  2. 原始估算:4,800 / 4 = 1,200 个 token。
  3. 加上 20% 余量:1,200 x 1.2 = 1,440 个 token。
  4. 将 max_tokens 设置为 500 以限制回复。
  5. 最坏情况成本:1,440 / 1,000,000 x $0.15 = $0.000216,加上 500 / 1,000,000 x $0.50 = $0.00025,即 $0.000466。

上下文窗口检查在这里很简单,1,440 + 500 远低于 100,000。相同的方法可扩展到批量作业。对于 2,000 个每个 6,000 字符的文档,一个文档是 1,500 个 token,加上余量是 1,800。这是 3,600,000 个输入 token,价值 $0.54。加上每个 200 个输出 token 的限制,你增加 400,000 个 token,价值 $0.20,整个批次的上限为 $0.74。在第一个请求离开你的机器之前,你就知道最大值。

经验法则最弱的时候

四字符规则基于英文文本建立。其他语言、源代码、表格、长数字和表情符号倾向于拆分为更小的片段,因此实际计数会高于估算值。对于这些输入,在第一次估算时将余量提高到 30% 或 40%,然后用你自己记录的 usage 数据测得的比率替换估算值。

保持在 100,000-token 上下文窗口内

上下文窗口由提示词和回复共享。这使得检查成为一个总和,而不是单个比较:估算的提示词加上你允许的回复总和必须等于或小于 100,000。

一个工作案例。你有一个 300,000 字符的文件要分析。

  • 估算:300,000 / 4 = 75,000 个 token。
  • 加上 20% 余量:90,000 个 token。
  • 留给回复的空间:100,000 - 90,000 = 10,000 个 token。这足以进行长摘要,因此可行。

现在尝试一个 360,000 字符的文件。原始估算为 90,000 个 token,加上余量为 108,000,这甚至在你留出回答空间之前就已经超过了限制。你需要拆分文件,分部分发送,或者对每个部分进行摘要并组合摘要。

记住聊天的规则。因为历史在每轮中都会重新发送,起初只有几百个 token 的对话可能会逐渐接近限制。在总和接近之前,精简旧轮次,或用短摘要替换它们。

精简历史以适配

当总和超出时,首先删除最旧的轮次并保留系统提示词。从最新消息开始向后遍历,将每条消息添加到运行字符总数中,当估算值加上你的回复上限达到你为自己设定的限制时停止。许多团队选择一个远低于 100,000 的工作限制,例如 30,000 个 token,因为较短的提示词处理速度更快且发送成本更低。一次编写并保留在历史记录顶部的已删除轮次的短摘要,可以在不为每个旧词再次付费的情况下保持对话线程。

限制回复

输出 token 的成本为每 1M $0.50,略高于 $0.15 的输入费率,且你无法提前知道回复长度。你可以做的是设置 max_tokens。模型在达到上限时停止,因此账单的输出端永远不会超过该数量的 token。

从任务中选择上限。分类或是否检查需要 10 到 50 个 token。段落答案可能需要 300 个。故事场景可能需要 2,000 个。如果省略该参数,回复可以自由使用剩余上下文窗口,这对于长篇写作很好,但对于短答案则浪费。

一个警告:过小的上限会在句子中间切断回复。查看响应中的 finish_reason。如果它表示输出因长度被截断,请提高上限或要求模型提供更短的答案。

将估算值与实际计数进行对比

每次调用后,响应会在其 usage 块中提供真实的提示词和补全 token 计数。流式输出会在流结束时报告 usage。将这些数据与你的估算值一起记录一周,然后查看比率。

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

-i 标志打印响应头,包括 X-Balance-USD。比较一批调用前后的余额,它应该与根据 usage 数字计算的成本匹配。

如果你的估算值 持续偏低,例如低 15%,请增加余量。英语以外的语言以及代码密集的提示词通常需要更大的余量。实际数据让你只需调整一次,之后便无需再担心。

下一步操作

一旦你能估算请求的大小,下一步就是将其转化为预算。定价页面 列出了费率和充值优惠,快速入门 展示了多种语言的请求格式。如果你尚未发起调用,请在 API 密钥页面 获取密钥;一键领取的 $0.50试用额度足以让你用实际数据运行最初的 12 次估算。

问答

在发送请求前能精确计算 token 数量吗?

无法可靠地使用通用工具。模型拥有自己的 tokenizer,因此其他 tokenizer 的计数仅为估算值。精确的数字会在调用后的 usage 数据中返回。

估算英文文本最快的方法是什么?

将字符数除以四。对于单词,乘以 1.33。这两种方法都较为粗略,在普通文本上效果最佳。

工具定义和 JSON 模式是否计入输入?

它们是你发送的请求的一部分,因此应将其计入输入 token。通过测量包含和不包含这些内容的请求来查看差异。

如何防止单个请求产生过高费用?

设置 max_tokens 以限制回复长度,并在发送前精简聊天历史。两者结合可为账单的两端设置上限。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥