FR ▾

Comment calculer les tokens dans les requêtes LLM avant envoi

Voici comment calculer les tokens dans les requêtes LLM avant de les envoyer : divisez le nombre de caractères par quatre, ajoutez une marge, et plafonnez la réponse avec max_tokens. L'API rapporte ensuite les chiffres exacts, afin que vous puissiez vérifier votre estimation.

Mis à jour le

Règle mesurant un ruban de papier divisé en petits segments colorés sous une loupe

Aucune carte nécessaire. Après la connexion, réclamez 0,50 $ de crédit d'essai gratuit en un clic (une fois par personne).

Obtenir une clé API

Points clés

  • Pour le texte anglais, les caractères divisés par quatre donnent une estimation de token utilisable. Ajoutez 20 % comme marge de sécurité.
  • Comptez tout ce que vous envoyez : prompt système, historique complet des conversations, documents et définitions d'outils.
  • Le prompt plus la complétion doivent tenir dans la fenêtre de 100 000 tokens, donc vérifiez la somme avant d'envoyer.
  • Utilisez max_tokens pour mettre un plafond sur le côté sortie du coût.

L'estimation rapide

Vous voulez un nombre avant d'appuyer sur envoyer, car le nombre vous indique si la requête tient, et approximativement combien elle coûtera. Le raccourci pour la prose anglaise est :

  • les tokens sont environ les caractères divisés par 4, ou
  • les tokens sont environ les mots multipliés par 1,33.

Un prompt de 12 000 caractères est donc d'environ 3 000 tokens. Une page de 500 mots est d'environ 670. Ce sont des moyennes. Elles dérivent pour les autres langues, pour le code source et pour le texte plein de chiffres ou de symboles, qui ont tendance à utiliser plus de tokens par caractère que l'anglais ordinaire. Traitez le résultat comme une figure de planification et ajoutez une marge d'environ 20 %.

Cette marge transforme l'estimation en une borne supérieure sûre. Notre prompt de 12 000 caractères devient 3 000 x 1,2 = 3 600 tokens pour les besoins de la planification.

Ce qui entre dans le compte

Les gens sous-estiment parce qu'ils ne mesurent que le dernier message utilisateur. Le modèle voit beaucoup plus que cela, et chaque partie est facturée comme entrée. Additionnez tout ceci :

  1. Le prompt système. Si vous conservez une longue personnalité ou un guide de style là-bas, il est payé à chaque appel.
  2. L'historique complet de la conversation. L'API ne se souvient pas des tours précédents. Vous les renvoyez, donc ils comptent à nouveau chaque fois.
  3. Les documents et extraits récupérés que vous collez dans le prompt.
  4. Les définitions d'outils et les schémas JSON si vous utilisez l'appel de fonctions ou un format de sortie structuré. Ils voyagent avec la requête, donc prévoyez qu'ils comptent comme entrée.
  5. Un petit frais de formatage pour les rôles de message. Ce n'est que quelques tokens par message, mais la marge de 20 % le couvre.

Du côté de la sortie, il n'y a qu'un seul élément : la réponse. Vous ne contrôlez pas sa longueur exactement, mais vous pouvez la plafonner, ce qui nous amène à la section suivante.

Comptage des tokens avec une petite fonction

Voici un petit utilitaire Python. Il estime le prompt à partir de tout le texte des messages, applique la marge, et retourne un coût maximal basé sur le max_tokens que vous prévoyez de définir.

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

Alimentez-le avec le prompt de 12 000 caractères plus haut avec max_tokens=800 et vous obtenez 3 600 tokens d'entrée et un cas pire de 3 600 / 1 000 000 x $0,15 + 800 / 1 000 000 x $0,50 = $0,00054 + $0,0004 = $0,00094. Moins d'un dixième de centime, avec le plafond connu à l'avance.

Une estimation de requête de chat étape par étape

Prenez un appel de chat typique et parcourez-le avec la règle. Le prompt système fait 800 caractères. L'historique contient six messages précédents en moyenne de 600 caractères chacun, soit 3 600. Le nouveau message utilisateur fait 400 caractères.

  1. Total des caractères : 800 + 3 600 + 400 = 4 800.
  2. Estimation brute : 4 800 / 4 = 1 200 tokens.
  3. Avec la marge de 20 % : 1 200 x 1,2 = 1 440 tokens.
  4. Définissez max_tokens à 500 pour la réponse.
  5. Coût au pire des cas : 1 440 / 1 000 000 x $0,15 = $0,000216, plus 500 / 1 000 000 x $0,50 = $0,00025, soit $0,000466.

La vérification de la fenêtre est triviale ici, 1 440 + 500 est bien en dessous de 100 000. La même méthode s'applique aux travaux par lots. Pour 2 000 documents de 6 000 caractères chacun, un document fait 1 500 tokens, ou 1 800 avec la marge. Cela représente 3 600 000 tokens d'entrée, valant 0,54 $. Avec un plafond de 200 tokens de sortie chacun, vous ajoutez 400 000 tokens, valant 0,20 $, pour un plafond de 0,74 $ sur tout le lot. Vous connaissez le maximum avant que la première requête ne quitte votre machine.

Quand la règle empirique est la plus faible

La règle des quatre caractères est basée sur la prose anglaise. Le texte dans d'autres langues, le code source, les tableaux, les longs nombres et les emoji ont tendance à se diviser en morceaux plus petits, donc le compte réel est plus élevé que l'estimation. Pour ces entrées, augmentez la marge à 30 ou 40 pour cent lors de votre première passe, puis remplacez l'estimation par un ratio mesuré à partir de vos propres données d'utilisation enregistrées.

Rester dans la fenêtre de 100 000 tokens

La fenêtre est partagée par le prompt et la complétion. Cela rend la vérification une somme, pas une simple comparaison : le prompt estimé plus la réponse que vous autorisez doivent totaliser 100 000 ou moins.

Un cas pratique. Vous avez un fichier de 300 000 caractères à analyser.

  • Estimation : 300 000 / 4 = 75 000 tokens.
  • Avec la marge de 20 % : 90 000 tokens.
  • Place restante pour la réponse : 100 000 - 90 000 = 10 000 tokens. C'est suffisant pour un long résumé, donc cela rentre.

Essayez maintenant un fichier de 360 000 caractères. L'estimation brute est de 90 000 tokens, et avec la marge elle est de 108 000, ce qui dépasse la limite avant même de laisser de la place pour une réponse. Vous devez diviser le fichier, l'envoyer par parties, ou résumer chaque partie et combiner les résumés.

N'oubliez pas la règle pour les chats aussi. Parce que l'historique est renvoyé à chaque tour, une conversation qui a commencé avec quelques centaines de tokens peut glisser vers la limite. Réduisez les anciens tours, ou remplacez-les par un court résumé, avant que la somme ne soit proche.

Réduire l'historique pour s'adapter

Quand la somme dépasse, supprimez d'abord les tours les plus anciens et conservez le prompt système. Parcourez à reculons depuis le message le plus récent, en ajoutant chaque message à un total de caractères en cours, et arrêtez-vous lorsque l'estimation plus votre plafond de réponse atteint la limite que vous vous êtes fixée. Beaucoup d'équipes choisissent une limite de fonctionnement bien en dessous de 100 000, comme 30 000 tokens, car les prompts plus courts sont plus rapides à traiter et moins chers à envoyer. Un court résumé des tours supprimés, écrit une fois et conservé en haut de l'historique, préserve le fil de la conversation sans payer pour chaque ancien mot à nouveau.

Mettre un plafond sur la réponse

Les tokens de sortie coûtent 0,50 $ par 1M, un peu plus de trois fois le taux d'entrée de 0,15 $, et vous ne pouvez pas connaître la longueur de la réponse à l'avance. Ce que vous pouvez faire, c'est définir max_tokens. Le modèle s'arrête lorsqu'il atteint le plafond, donc le côté sortie de la facture ne peut jamais dépasser ce nombre de tokens.

Choisissez le plafond en fonction de la tâche. Une classification ou une vérification oui/non nécessite 10 à 50 tokens. Une réponse sous forme de paragraphe en nécessite peut-être 300. Une scène de récit pourrait en nécessiter 2 000. Si vous omettez le paramètre, la complétion est libre d'utiliser le reste de la fenêtre, ce qui est bien pour l'écriture longue et gaspilleur pour les réponses courtes.

Une mise en garde : un plafond trop petit coupe une réponse en plein milieu d'une phrase. Regardez le finish_reason dans la réponse. S'il indique que la sortie a été tronquée par la longueur, augmentez le plafond ou demandez au modèle une réponse plus courte.

Vérifiez l'estimation par rapport au décompte réel

Après chaque appel, la réponse vous donne les vrais comptes de tokens de prompt et de complétion dans son bloc usage. Les réponses en streaming rapportent l'utilisation à la fin du flux. Enregistrez ces données à côté de votre estimation pendant une semaine et regardez le ratio.

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

Le drapeau -i imprime les en-têtes de réponse, y compris X-Balance-USD. Comparez le solde avant et après un lot d'appels et il devrait correspondre au coût calculé à partir des chiffres d'utilisation.

Si vos estimations sont systématiquement basses, disons de 15 %, augmentez la marge. Les langues autres que l'anglais et les prompts lourds en code ont généralement besoin d'une marge plus importante. Les chiffres réels vous permettent de régler une fois et de cesser de vous inquiéter.

Où aller ensuite

Une fois que vous pouvez dimensionner une requête, l'étape suivante consiste à la transformer en budget. La page des tarifs liste les tarifs et les bonus de rechargement, et le guide de démarrage rapide montre le format de requête dans plusieurs langues. Si vous n'avez pas encore effectué d'appel, obtenez une clé sur la page des clés API ; le crédit d'essai unique de $0,50 suffit pour exécuter vos premières douzaines d'estimations par rapport à la réalité.

Questions et réponses

Puis-je compter les tokens avec exactitude avant d’envoyer une requête ?

Pas de manière fiable avec un outil générique. Le modèle dispose de son propre tokenizer, donc les comptes provenant d’un autre tokenizer sont des estimations. Les chiffres exacts reviennent dans les données d’utilisation après l’appel.

Quelle est l’estimation la plus rapide pour du texte en anglais ?

Divisez le nombre de caractères par quatre. Pour les mots, multipliez par 1,33. Les deux méthodes sont approximatives et fonctionnent mieux sur du texte courant.

Les définitions de fonctions et les schémas JSON comptent-ils comme entrée ?

Ils font partie de la requête que vous envoyez, donc prévoyez qu’ils comptent comme des tokens d’entrée. Mesurez une requête avec et sans eux pour voir la différence.

Comment puis-je éviter qu’une requête coûte trop cher ?

Définissez max_tokens pour limiter la réponse, et réduisez l'historique du chat avant l'envoi. Ensemble, ils fixent un plafond des deux côtés du coût.

Votre clé n'est qu'à un formulaire d'ici

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Obtenir une clé API