ES ▾

Cómo calcular tokens en peticiones LLM antes de enviarlas

Así es cómo calcular tokens en peticiones LLM antes de enviarlas: divide el recuento de caracteres por cuatro, añade un margen y limita la respuesta con max_tokens. La API luego reporta los números exactos, así que puedes verificar tu estimación.

Actualizado

Regla midiendo una cinta de papel dividida en pequeños segmentos de colores bajo una lupa

Sin tarjeta. Tras registrarte, reclama $0,50 de crédito de prueba gratis con un clic (una vez por persona).

Obtener clave de API

Puntos clave

  • Para texto en inglés, los caracteres divididos por cuatro dan una estimación de tokens utilizable. Añade un 20% como margen de seguridad.
  • Cuenta todo lo que envías: prompt del sistema, historial completo de chat, documentos y definiciones de funciones.
  • El prompt más la completación deben caber en la ventana de 100.000 tokens, así que verifica la suma antes de enviar.
  • Usa max_tokens para poner un techo en el lado de salida del coste.

La estimación rápida

Quieres un número antes de pulsar enviar, porque el número te dice si la petición cabe y aproximadamente cuánto costará. El atajo para la prosa en inglés es:

  • los tokens son aproximadamente caracteres divididos entre 4, o
  • los tokens son aproximadamente palabras multiplicadas por 1,33.

Un prompt de 12.000 caracteres es por tanto de unos 3.000 tokens. Una página de 500 palabras es de unos 670. Estos son promedios. Se desvían para otros idiomas, para código fuente y para texto lleno de números o símbolos, todos los cuales tienden a usar más tokens por carácter que el inglés normal. Trata el resultado como una cifra de planificación y añade un margen de alrededor del 20%.

Ese margen convierte la estimación en un límite superior seguro. Nuestro prompt de 12.000 caracteres se convierte en 3.000 x 1,2 = 3.600 tokens para propósitos de planificación.

Qué entra en el conteo

La gente subestima porque solo mide el último mensaje del usuario. El modelo ve mucho más que eso, y cada parte se factura como entrada. Suma todo esto:

  1. El prompt del sistema. Si mantienes una larga personalidad o guía de estilo allí, se paga en cada llamada.
  2. El historial completo de la conversación. La API no recuerda los turnos anteriores. Los reenvías, así que cuentan de nuevo cada vez.
  3. Documentos y fragmentos recuperados que pegas en el prompt.
  4. Definiciones de herramientas y esquemas JSON si usas llamadas a funciones o un formato de salida estructurada. Viajan con la petición, así que planifica que cuenten como entrada.
  5. Pequeña sobrecarga de formato para roles de mensaje. Son solo unos pocos tokens por mensaje, pero el margen del 20% lo cubre.

En el lado de salida hay un solo elemento: la respuesta. No controlas su longitud con exactitud, pero puedes limitarla, lo que nos lleva a la siguiente sección.

Contando tokens con una pequeña función

Aquí tienes un pequeño auxiliar en Python. Estima el prompt desde todo el texto de los mensajes, aplica el margen y devuelve un coste máximo basado en el max_tokens que planeas establecer.

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

Alimentalo con el prompt de 12.000 caracteres de antes con max_tokens=800 y obtendrás 3.600 tokens de entrada y un caso peor de 3.600 / 1.000.000 x $0,15 + 800 / 1.000.000 x $0,50 = $0,00054 + $0,0004 = $0,00094. Menos de una décima de centavo, con el techo conocido de antemano.

Una petición de chat estimada paso a paso

Toma una llamada de chat típica y recórrala con la regla. El prompt del sistema tiene 800 caracteres. El historial contiene seis mensajes anteriores con un promedio de 600 caracteres cada uno, lo que son 3.600. El nuevo mensaje del usuario tiene 400 caracteres.

  1. Total de caracteres: 800 + 3.600 + 400 = 4.800.
  2. Estimación cruda: 4.800 / 4 = 1.200 tokens.
  3. Con el margen del 20%: 1.200 x 1,2 = 1.440 tokens.
  4. Establece max_tokens a 500 para la respuesta.
  5. Coste en caso peor: 1.440 / 1.000.000 x $0,15 = $0,000216, más 500 / 1.000.000 x $0,50 = $0,00025, así que $0,000466.

La comprobación de la ventana es trivial aquí, 1.440 + 500 está muy por debajo de 100.000. El mismo método escala a trabajos por lotes. Para 2.000 documentos de 6.000 caracteres cada uno, un documento son 1.500 tokens, o 1.800 con el margen. Eso son 3.600.000 tokens de entrada, valorados en $0,54. Con un límite de 200 tokens de salida cada uno, añades 400.000 tokens, valorados en $0,20, para un techo de $0,74 en todo el lote. Conoces el máximo antes de que la primera petición salga de tu máquina.

Cuando la regla empírica es más débil

La regla de cuatro caracteres está basada en la prosa en inglés. El texto en otros idiomas, el código fuente, las tablas, los números largos y los emojis tienden a dividirse en piezas más pequeñas, por lo que el conteo real es mayor que la estimación. Para esas entradas, sube el margen al 30 o 40 por ciento en tu primer intento, luego reemplaza la suposición con una medida desde tus propios datos de uso registrados.

Manteniéndose dentro de la ventana de 100.000 tokens

La ventana es compartida por el prompt y la completación. Eso hace que la comprobación sea una suma, no una única comparación: el prompt estimado más la respuesta que permitas debe sumar 100.000 o menos.

Un caso práctico. Tienes un archivo de 300.000 caracteres para analizar.

  • Estimación: 300.000 / 4 = 75.000 tokens.
  • Con el margen del 20%: 90.000 tokens.
  • Espacio restante para la respuesta: 100.000 - 90.000 = 10.000 tokens. Eso es suficiente para un resumen largo, así que cabe.

Ahora prueba con un archivo de 360.000 caracteres. La estimación cruda es de 90.000 tokens, y con el margen es de 108.000, lo que supera el límite antes de dejar espacio para una respuesta. Necesitas dividir el archivo, enviarlo por partes o resumir cada parte y combinar los resúmenes.

Recuerda la regla también para chats. Debido a que el historial se reenvía en cada turno, una conversación que comenzó con unos pocos cientos de tokens puede acercarse al límite. Recorta los turnos antiguos o reemplázalos con un resumen corto antes de que la suma se acerque.

Recortando el historial para que quepa

Cuando la suma supera el límite, elimina los turnos más antiguos primero y mantén el prompt del sistema. Camina hacia atrás desde el mensaje más nuevo, añadiendo cada uno a un total de caracteres en ejecución, y detente cuando la estimación más tu límite de respuesta alcance el límite que te has establecido. Muchos equipos eligen un límite de trabajo muy por debajo de 100.000, como 30.000 tokens, porque los prompts más cortos son más rápidos de procesar y más baratos de enviar. Un resumen corto de los turnos eliminados, escrito una vez y mantenido en la parte superior del historial, preserva el hilo de la conversación sin pagar por cada palabra antigua de nuevo.

Poniendo un techo en la respuesta

Los tokens de salida cuestan $0,50 por 1M, un poco más de tres veces la tasa de entrada de $0,15, y no puedes saber la longitud de la respuesta de antemano. Lo que puedes hacer es establecer max_tokens. El modelo se detiene cuando alcanza el límite, así que el lado de salida de la factura nunca puede exceder ese número de tokens.

Elige el tope de la tarea. Una clasificación o una verificación de sí/no necesita de 10 a 50 tokens. Una respuesta en párrafo necesita quizás 300. Una escena de historia podría necesitar 2000. Si omites el parámetro, la completación puede usar el resto de la ventana, lo cual está bien para escritura extensa y es un desperdicio para respuestas cortas.

Una advertencia: un límite demasiado pequeño corta una respuesta a mitad de frase. Mira el finish_reason en la respuesta. Si indica que la salida fue truncada por longitud, sube el límite o pide al modelo una respuesta más corta.

Verifica la estimación contra el conteo real

Después de cada llamada, la respuesta te da los conteos reales de tokens de prompt y completación en su bloque usage. Las respuestas en streaming reportan el uso al final del flujo. Registra esto junto con tu estimación durante una semana y observa la proporción.

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

La bandera -i imprime los encabezados de la respuesta, incluyendo X-Balance-USD. Compara el saldo antes y después de un lote de llamadas y debe coincidir con el costo calculado a partir de los números de uso.

Si tus estimaciones son consistentemente bajas, digamos un 15%, sube el margen. Los idiomas distintos al inglés y los prompts con mucho código suelen necesitar uno mayor. Las cifras reales te permiten ajustar una vez y dejar de preocuparte.

A dónde ir a continuación

Una vez que puedes dimensionar una petición, el siguiente paso es convertirla en un presupuesto. La página de precios lista las tarifas y los bonos de recarga, y el inicio rápido muestra el formato de la petición en varios idiomas. Si aún no has hecho una llamada, obtén una clave en la página de clave de API; el crédito de prueba de $0,50 con un solo clic es suficiente para ejecutar tus primeras doce estimaciones contra la realidad.

Preguntas y respuestas

¿Puedo contar tokens con exactitud antes de enviar una petición?

No de forma fiable con una herramienta genérica. El modelo tiene su propio tokenizador, por lo que los conteos de otro tokenizador son estimaciones. Los números exactos aparecen en los datos de uso después de la llamada.

¿Cuál es la estimación más rápida para texto en inglés?

Divide el número de caracteres por cuatro. Para palabras, multiplica por 1,33. Ambos son aproximados y funcionan mejor con prosa habitual.

¿Cuentan las definiciones de herramientas y los esquemas JSON como entrada?

Son parte de la petición que envías, así que planifica que cuenten como tokens de entrada. Mide una petición con y sin ellos para ver la diferencia.

¿Cómo puedo evitar que una petición cueste demasiado?

Establece max_tokens para limitar la respuesta y recorta el historial de chat antes de enviar. Juntos, ponen un límite a ambos lados de la factura.

Tu clave está a un formulario de distancia

Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.

Obtener clave de API