PT ▾

Como calcular tokens em requisições LLM antes de enviar

Aqui está como calcular tokens em requisições LLM antes de enviá-las: divida a contagem de caracteres por quatro, adicione uma margem e limite a resposta com max_tokens. A API então relata os números exatos, para que você possa verificar sua estimativa.

Atualizado

Régua medindo uma fita de papel dividida em pequenos segmentos coloridos sob uma lupa

Sem necessidade de cartão. Após o cadastro, reivindique $0,50 de crédito de teste grátis com um clique (uma vez por pessoa).

Obter chave de API

Pontos principais

  • Para texto em inglês, caracteres divididos por quatro fornecem uma estimativa de tokens utilizável. Adicione 20% como margem de segurança.
  • Conte tudo o que você envia: prompt do sistema, histórico completo de conversas, documentos e definições de ferramentas.
  • O prompt mais a conclusão devem caber na janela de 100.000 tokens, então verifique a soma antes de enviar.
  • Use max_tokens para colocar um teto no lado de saída do custo.

A estimativa rápida

Você quer um número antes de pressionar enviar, porque o número diz se a requisição cabe e aproximadamente quanto custará. O atalho para prosa em inglês é:

  • tokens são aproximadamente caracteres divididos por 4, ou
  • tokens são aproximadamente palavras multiplicadas por 1,33.

Um prompt de 12.000 caracteres é portanto cerca de 3.000 tokens. Uma página de 500 palavras é cerca de 670. Estas são médias. Elas variam para outros idiomas, código-fonte e texto cheio de números ou símbolos, todos os quais tendem a usar mais tokens por caractere do que inglês puro. Trate o resultado como uma figura de planejamento e adicione uma margem de cerca de 20%.

Essa margem transforma a estimativa em um limite superior seguro. Nosso prompt de 12.000 caracteres se torna 3.000 x 1,2 = 3.600 tokens para fins de planejamento.

O que entra na contagem

As pessoas contam a menos porque medem apenas a última mensagem do usuário. O modelo vê muito mais do que isso, e cada parte é cobrada como entrada. Some tudo isso:

  1. O prompt do sistema. Se você mantém uma persona longa ou guia de estilo lá, ele é pago em cada chamada.
  2. O histórico completo da conversa. A API não lembra as rodadas anteriores. Você as reenvia, então elas contam novamente a cada vez.
  3. Documentos e trechos recuperados que você cola no prompt.
  4. Definições de ferramentas e esquemas JSON se você usar chamada de ferramentas ou um formato de saída estruturada. Eles acompanham a requisição, então planeje para que contem como entrada.
  5. Pequena sobrecarga de formatação para papéis de mensagem. São apenas alguns tokens por mensagem, mas a margem de 20% cobre isso.

No lado da saída há um único item: a resposta. Você não controla seu comprimento exatamente, mas pode limitá-lo, o que nos leva à próxima seção.

Contando tokens com uma pequena função

Aqui está um auxiliar Python curto. Ele estima o prompt de todo o texto de mensagem, aplica a margem e retorna um custo de pior caso baseado no max_tokens que você planeja definir.

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

Alimente-o com o prompt de 12.000 caracteres de antes com max_tokens=800 e você obtém 3.600 tokens de entrada e um pior caso de 3.600 / 1.000.000 x $0,15 + 800 / 1.000.000 x $0,50 = $0,00054 + $0,0004 = $0,00094. Menos de um décimo de centavo, com o teto conhecido antecipadamente.

Uma estimativa passo a passo de uma requisição de chat

Pegue uma chamada de chat típica e analise-a com a regra. O prompt do sistema tem 800 caracteres. O histórico contém seis mensagens anteriores com média de 600 caracteres cada, o que dá 3.600. A nova mensagem do usuário tem 400 caracteres.

  1. Total de caracteres: 800 + 3.600 + 400 = 4.800.
  2. Estimativa bruta: 4.800 / 4 = 1.200 tokens.
  3. Com a margem de 20%: 1.200 x 1,2 = 1.440 tokens.
  4. Defina max_tokens para 500 para a resposta.
  5. Custo de pior caso: 1.440 / 1.000.000 x $0,15 = $0,000216, mais 500 / 1.000.000 x $0,50 = $0,00025, então $0,000466.

A verificação da janela é trivial aqui, 1.440 + 500 está muito abaixo de 100.000. O mesmo método escala para trabalhos em lote. Para 2.000 documentos de 6.000 caracteres cada, um documento tem 1.500 tokens, ou 1.800 com a margem. Isso são 3.600.000 tokens de entrada, valendo $0,54. Com um teto de 200 tokens de saída cada, você adiciona 400.000 tokens, valendo $0,20, para um teto de $0,74 em todo o lote. Você conhece o máximo antes da primeira requisição sair da sua máquina.

Quando a regra prática é mais fraca

A regra de quatro caracteres é baseada em prosa em inglês. Texto em outros idiomas, código-fonte, tabelas, números longos e emojis tendem a se dividir em pedaços menores, então a contagem real fica acima da estimativa. Para essas entradas, aumente a margem para 30 ou 40 por cento na sua primeira tentativa, depois substitua o palpite por uma razão medida a partir dos seus próprios dados de uso registrados.

Mantendo-se dentro da janela de 100.000 tokens

A janela é compartilhada pelo prompt e pela conclusão. Isso torna a verificação uma soma, não uma única comparação: prompt estimado mais a resposta que você permite deve somar 100.000 ou menos.

Um caso prático. Você tem um arquivo de 300.000 caracteres para analisar.

  • Estimativa: 300.000 / 4 = 75.000 tokens.
  • Com a margem de 20%: 90.000 tokens.
  • Espaço restante para a resposta: 100.000 - 90.000 = 10.000 tokens. Isso é suficiente para um resumo longo, então cabe.

Agora tente um arquivo de 360.000 caracteres. A estimativa bruta é de 90.000 tokens, e com a margem é 108.000, o que excede o limite antes mesmo de deixar espaço para uma resposta. Você precisa dividir o arquivo, enviá-lo em partes ou resumir cada parte e combinar os resumos.

Lembre-se da regra também para chats. Como o histórico é reenviado a cada turno, uma conversa que começou com algumas centenas de tokens pode se aproximar do limite. Limpe as rodadas antigas ou substitua-as por um resumo curto antes que a soma se aproxime.

Limitando o histórico para caber

Quando a soma ultrapassar, remova as rodadas mais antigas primeiro e mantenha o prompt do sistema. Percorra de trás para frente a partir da mensagem mais recente, adicionando cada uma a um total acumulado de caracteres, e pare quando a estimativa mais o teto da sua resposta atingir o limite que você definiu para si. Muitas equipes escolhem um limite de trabalho bem abaixo de 100.000, como 30.000 tokens, porque prompts mais curtos são mais rápidos para processar e mais baratos para enviar. Um resumo curto das rodadas removidas, escrito uma vez e mantido no topo do histórico, preserva o fio da conversa sem pagar por cada palavra antiga novamente.

Colocando um teto na resposta

Tokens de saída custam $0,50 por 1M, um pouco mais de três vezes a taxa de entrada de $0,15, e você não pode saber o comprimento da resposta antecipadamente. O que você pode fazer é definir max_tokens. O modelo para quando atinge o limite, então o lado de saída da conta nunca pode exceder esse número de tokens.

Escolha o teto com base na tarefa. Uma classificação ou verificação de sim/não precisa de 10 a 50 tokens. Uma resposta em parágrafo precisa de talvez 300. Uma cena de história pode precisar de 2.000. Se você omitir o parâmetro, a conclusão fica livre para usar o resto da janela, o que é bom para escrita de longo formato e desperdicioso para respostas curtas.

Uma advertência: um teto muito pequeno corta uma resposta no meio da frase. Observe o finish_reason na resposta. Se indicar que a saída foi truncada por comprimento, aumente o teto ou peça ao modelo uma resposta mais curta.

Verifique a estimativa contra a contagem real

Após cada chamada, a resposta fornece as contagens reais de tokens de prompt e conclusão no seu bloco usage. Respostas em streaming relatam o uso no final do fluxo. Registre isso ao lado da sua estimativa por uma semana e observe a proporção.

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

A sinalização -i imprime os cabeçalhos da resposta, incluindo X-Balance-USD. Compare o saldo antes e depois de um lote de chamadas e ele deve corresponder ao custo calculado a partir dos números de uso.

Se suas estimativas ficarem consistentemente abaixo, digamos em 15%, aumente a margem. Idiomas diferentes do inglês e prompts com muitos códigos geralmente precisam de uma margem maior. Os valores reais permitem que você ajuste uma vez e pare de se preocupar.

Para onde ir a seguir

Uma vez que você possa dimensionar uma requisição, o próximo passo é transformá-la em um orçamento. A página de preços lista as taxas e os bônus de recarga, e o quickstart mostra o formato da requisição em vários idiomas. Se você ainda não fez uma chamada, obtenha uma chave na página de chaves de API; o crédito de teste de $0,50 com um clique é suficiente para executar suas primeiras dúzias de estimativas contra a realidade.

Perguntas e respostas

Posso contar tokens com exatidão antes de enviar uma requisição?

Não de forma confiável com uma ferramenta genérica. O modelo tem seu próprio tokenizador, então as contagens de outro tokenizador são estimativas. Os números exatos voltam nos dados de uso após a chamada.

Qual é a estimativa mais rápida para texto em inglês?

Divida o número de caracteres por quatro. Para palavras, multiplique por 1,33. Ambas são aproximadas e funcionam melhor em prosa comum.

As definições de ferramentas e esquemas JSON contam como entrada?

Elas fazem parte da requisição que você envia, então planeje para que elas contem como tokens de entrada. Meça uma requisição com e sem elas para ver a diferença.

Como posso evitar que uma única requisição custe muito?

Defina max_tokens para limitar a resposta e limpe o histórico de chat antes de enviar. Juntos, eles colocam um limite em ambos os lados da conta.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API