DE ▾

So berechnest du Tokens in LLM-Anfragen vor dem Senden

So berechnest du Tokens in LLM-Anfragen vor dem Senden: Teile die Zeichenanzahl durch vier, füge einen Puffer hinzu und begrenze die Antwort mit max_tokens. Die API meldet dann die exakten Zahlen, sodass du deine Schätzung überprüfen kannst.

Aktualisiert

Lineal, das ein farbiges Papierband unter einer Lupe misst

Keine Karte nötig. Nach der Anmeldung beanspruche mit einem Klick 0,50 $ kostenloses Testguthaben (einmal pro Person).

API-Schlüssel erhalten

Wichtige Punkte

  • Für englischen Text ergibt die Zeichenanzahl geteilt durch vier eine brauchbare Token-Schätzung. Addiere 20 % als Sicherheitspuffer.
  • Zähle alles, was du sendest: System-Prompt, vollständiger Chatverlauf, Dokumente und Tool-Definitionen.
  • Prompt plus Antwort müssen in das 100.000-Token-Fenster passen, also prüfe die Summe vor dem Senden.
  • Nutze max_tokens, um die Ausgabe-Seite der Kosten zu begrenzen.

Die schnelle Schätzung

Du willst eine Zahl, bevor du auf Senden drückst, weil diese Zahl dir sagt, ob die Anfrage passt und wie viel sie ungefähr kostet. Der Shortcut für englischen Text ist:

  • Tokens sind etwa Zeichen geteilt durch 4, oder
  • Tokens sind etwa Wörter multipliziert mit 1,33.

Ein Prompt mit 12.000 Zeichen entspricht etwa 3.000 Token. Eine Seite mit 500 Wörtern sind etwa 670 Token. Dies sind Durchschnittswerte. Sie weichen bei anderen Sprachen, Quellcode und Texten mit vielen Zahlen oder Symbolen ab, da diese pro Zeichen tendenziell mehr Token benötigen. Betrachte das Ergebnis als Planungsgrundlage und plane einen Puffer von etwa 20 % ein.

Dieser Puffer macht die Schätzung zu einer sicheren Obergrenze. Unser Prompt mit 12.000 Zeichen wird für Planungszwecke zu 3.000 x 1,2 = 3.600 Token.

Was in die Zählung eingeht

Leute unterschätzen, weil sie nur die letzte Benutzer-Nachricht messen. Das Modell sieht viel mehr, und jeder Teil wird als Input berechnet. Addiere all diese:

  1. Der System-Prompt. Wenn du dort eine lange Persona oder Style-Guide speicherst, wird er bei jedem Aufruf bezahlt.
  2. Der vollständige Gesprächsverlauf. Die API erinnert sich nicht an frühere Turns. Du sendest sie erneut, also zählen sie jedes Mal wieder.
  3. Dokumente und abgerufene Snippets, die du in den Prompt einfügst.
  4. Tool-Definitionen und JSON-Schemas, wenn du Tool Calling oder ein strukturiertes Ausgabeformat nutzt. Sie werden mit der Anfrage gesendet, also plane damit, dass sie als Input zählen.
  5. Kleiner Formatierungs-Overhead für Nachrichtenrollen. Das sind nur wenige Token pro Nachricht, aber der 20-%-Puffer deckt das ab.

Auf der Ausgabe-Seite gibt es nur ein Element: die Antwort. Du kannst ihre Länge nicht genau steuern, aber du kannst sie begrenzen, was uns zum nächsten Abschnitt bringt.

Tokens mit einer kleinen Funktion zählen

Hier ist ein kurzer Python-Helper. Er schätzt den Prompt aus allen Nachrichtentexten, wendet den Puffer an und gibt eine Worst-Case-Kosten basierend auf dem max_tokens zurück, das du setzen möchtest.

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

Füttere es mit dem 12.000-Zeichen-Prompt von früher mit max_tokens=800 und du erhältst 3.600 Token Input und einen Worst-Case von 3.600 / 1.000.000 x $0,15 + 800 / 1.000.000 x $0,50 = $0,00054 + $0,0004 = $0,00094. Weniger als ein Zehntel Cent, mit im Voraus bekannter Obergrenze.

Eine Chat-Anfrage Schritt für Schritt geschätzt

Nimm einen typischen Chat-Aufruf und gehe ihn mit der Regel durch. Der System-Prompt hat 800 Zeichen. Der Verlauf enthält sechs frühere Nachrichten mit durchschnittlich 600 Zeichen, also 3.600. Die neue Benutzer-Nachricht hat 400 Zeichen.

  1. Gesamtzeichen: 800 + 3.600 + 400 = 4.800.
  2. Rohschätzung: 4.800 / 4 = 1.200 Token.
  3. Mit dem 20-%-Puffer: 1.200 x 1,2 = 1.440 Token.
  4. Setze max_tokens auf 500 für die Antwort.
  5. Worst-Case-Kosten: 1.440 / 1.000.000 x $0,15 = $0,000216, plus 500 / 1.000.000 x $0,50 = $0,00025, also $0,000466.

Der Fenster-Check ist hier trivial, 1.440 + 500 ist weit unter 100.000. Die gleiche Methode skaliert auf Batch-Jobs. Für 2.000 Dokumente mit je 6.000 Zeichen ist ein Dokument 1.500 Token, oder 1.800 mit dem Puffer. Das sind 3.600.000 Input-Token im Wert von $0,54. Mit einer Begrenzung von 200 Output-Token pro Aufruf fügst du 400.000 Token hinzu, im Wert von $0,20, für eine Obergrenze von $0,74 für den gesamten Batch. Du kennst das Maximum, bevor die erste Anfrage deine Maschine verlässt.

Wenn die Daumenregel am schwächsten ist

Die Vier-Zeichen-Regel basiert auf englischem Text. Text in anderen Sprachen, Quellcode, Tabellen, lange Zahlen und Emojis neigen dazu, in kleinere Stücke zerlegt zu werden, sodass die tatsächliche Zählung höher ausfällt als die Schätzung. Für solche Eingaben erhöhe den Puffer bei der ersten Schätzung auf 30 oder 40 Prozent und ersetze dann die Schätzung durch ein Verhältnis, das du aus deinen eigenen protokollierten Nutzungsdaten misst.

Innerhalb des 100.000-Token-Fensters bleiben

Das Fenster wird von Prompt und Antwort geteilt. Das macht den Check zu einer Summe, nicht zu einem einzelnen Vergleich: geschätzter Prompt plus die erlaubte Antwort müssen 100.000 oder weniger ergeben.

Ein durchgerechnetes Beispiel. Du hast eine 300.000-Zeichen-Datei zur Analyse.

  • Schätzung: 300.000 / 4 = 75.000 Token.
  • Mit dem 20-%-Puffer: 90.000 Token.
  • Verbleibender Raum für die Antwort: 100.000 - 90.000 = 10.000 Token. Das reicht für eine lange Zusammenfassung, also passt es.

Versuche nun eine 360.000-Zeichen-Datei. Die Rohschätzung beträgt 90.000 Token, und mit dem Puffer sind es 108.000, was die Grenze überschreitet, bevor du sogar Platz für eine Antwort lässt. Du musst die Datei aufteilen, sie in Teilen senden oder jeden Teil zusammenfassen und die Zusammenfassungen kombinieren.

Denke auch an die Regel für Chats. Da der Verlauf bei jedem Turn erneut gesendet wird, kann ein Gespräch, das mit wenigen Hundert Token begann, langsam an die Grenze kriechen. Kürze alte Turns oder ersetze sie durch eine kurze Zusammenfassung, bevor die Summe nah an die Grenze kommt.

Chatverlauf kürzen, um zu passen

Wenn die Summe zu hoch ist, entferne zuerst die ältesten Turns und behalte den System-Prompt. Gehe rückwärts von der neuesten Nachricht aus, addiere jede einzelne zu einer laufenden Zeichenanzahl und stoppe, wenn die Schätzung plus deine Antwortbegrenzung die von dir gesetzte Grenze erreicht. Viele Teams wählen eine Arbeitsgrenze deutlich unter 100.000, z. B. 30.000 Token, weil kürzere Prompts schneller verarbeitet und günstiger gesendet werden. Eine kurze Zusammenfassung der entfernten Turns, einmal geschrieben und oben im Verlauf gehalten, bewahrt den Faden des Gesprächs, ohne für jedes alte Wort wieder zu bezahlen.

Eine Obergrenze für die Antwort setzen

Output-Token kosten $0,50 pro 1M, etwas mehr als das Dreifache des $0,15-Input-Satzes, und du kannst die Antwortlänge im Voraus nicht kennen. Was du tun kannst, ist max_tokens zu setzen. Das Modell stoppt, wenn es die Grenze erreicht, also kann die Ausgabe-Seite der Rechnung nie mehr als diese Anzahl an Token kosten.

Wähle die Grenze aus der Aufgabe. Eine Klassifizierung oder Ja/Nein-Prüfung benötigt 10 bis 50 Token. Eine Absatz-Antwort benötigt vielleicht 300. Eine Geschichtsszene könnte 2.000 benötigen. Wenn du den Parameter weglässt, kann die Antwort den Rest des Fensters nutzen, was für lange Texte gut ist, aber für kurze Antworten verschwenderisch.

Eine Warnung: Eine zu kleine Grenze schneidet eine Antwort mitten im Satz ab. Schau dir den finish_reason in der Antwort an. Wenn er besagt, dass die Ausgabe durch Länge abgeschnitten wurde, erhöhe die Grenze oder bitte das Modell um eine kürzere Antwort.

Die Schätzung mit der tatsächlichen Zählung vergleichen

Nach jedem Aufruf gibt dir die Antwort die echten Prompt- und Antwort-Token-Anzahlen in ihrem usage-Block. Gestreamte Antworten melden die Nutzung am Ende des Streams. Protokolliere diese neben deiner Schätzung für eine Woche und schaue dir das Verhältnis an.

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

Das -i-Flag druckt die Antwort-Header aus, einschließlich X-Balance-USD. Vergleiche das Guthaben vor und nach einer Batch-Serie von Aufrufen und es sollte mit dem aus den Nutzungsdaten berechneten Kosten übereinstimmen.

Wenn deine Schätzungen konstant zu niedrig ausfallen, etwa um 15 %, erhöhe die Pufferzone. Sprachen außer Englisch und code-lastige Prompts benötigen meist einen größeren Puffer. Die realen Werte ermöglichen es dir, einmalig nachzustimmen und dir keine Sorgen mehr zu machen.

Nächste Schritte

Sobald du eine Anfrage dimensionieren kannst, ist der nächste Schritt, sie in ein Budget umzuwandeln. Die Preisseite listet die Sätze und die Top-up-Boni auf, und der Quickstart zeigt das Anfrageformat in mehreren Sprachen. Wenn du noch keine Anfrage gestellt hast, hole dir einen Schlüssel auf der API-Schlüssel-Seite; das Ein-Klick-$0,50-Testguthaben reicht aus, um deine ersten Dutzend Schätzungen gegen die Realität zu testen.

Fragen und Antworten

Kann ich Token genau zählen, bevor ich eine Anfrage sende?

Nicht zuverlässig mit einem generischen Tool. Das Modell hat seinen eigenen Tokenizer, daher sind Zählwerte eines anderen Tokenizers Schätzungen. Die exakten Zahlen erhältst du in den Nutzungsdaten nach der Anfrage.

Was ist die schnellste Schätzung für englischen Text?

Teile die Anzahl der Zeichen durch vier. Multipliziere bei Wörtern mit 1,33. Beide Werte sind grob und funktionieren am besten für normalen Text.

Zählen Tool-Definitionen und JSON-Schemas als Eingabe?

Sie sind Teil der Anfrage, die du sendest, also plane sie als Input-Token ein. Miss eine Anfrage mit und ohne diese Elemente, um den Unterschied zu sehen.

Wie kann ich verhindern, dass eine Anfrage zu viel kostet?

Setze max_tokens, um die Antwort zu begrenzen, und kürze den Chatverlauf vor dem Senden. Zusammen legen sie die Obergrenze für beide Seiten der Abrechnung fest.

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.

API-Schlüssel erhalten