IT ▾

Come calcolare i token nelle richieste LLM prima dell'invio

Ecco come calcolare i token nelle richieste LLM prima di inviarle: dividi il numero di caratteri per quattro, aggiungi un margine e limita la risposta con max_tokens. L'API restituisce poi i numeri esatti, così puoi verificare la tua stima.

Aggiornato

Righello che misura un nastro di carta diviso in piccoli segmenti colorati sotto una lente d'ingrandimento

Nessuna carta necessaria. Dopo la registrazione, ottieni $0,50 di credito di prova gratuito con un clic (una volta per persona).

Ottieni la chiave API

Punti chiave

  • Per il testo inglese, i caratteri divisi per quattro danno una stima dei token utilizzabile. Aggiungi il 20% come margine di sicurezza.
  • Conta tutto ciò che invii: prompt di sistema, cronologia completa delle chat, documenti e definizioni di funzione.
  • Prompt più completamento devono adattarsi alla finestra da 100.000 token, quindi controlla la somma prima di inviare.
  • Usa max_tokens per porre un tetto al lato output del costo.

La stima rapida

Vuoi un numero prima di premere invia, perché il numero ti dice se la richiesta si adatta e approssimativamente quanto costerà. La scorciatoia per la prosa inglese è:

  • i token sono circa i caratteri divisi per 4, o
  • i token sono circa le parole moltiplicate per 1,33.

Un prompt di 12.000 caratteri è quindi di circa 3.000 token. Una pagina da 500 parole è di circa 670. Queste sono medie. Deviano per altre lingue, per il codice sorgente e per il testo pieno di numeri o simboli, tutti i quali tendono a usare più token per carattere rispetto all'inglese puro. Tratta il risultato come una figura di pianificazione e aggiungi un margine di circa il 20%.

Quel margine trasforma la stima in un limite superiore sicuro. Il nostro prompt da 12.000 caratteri diventa 3.000 x 1,2 = 3.600 token per scopi di pianificazione.

Cosa entra nel conteggio

Le persone sottostimano perché misurano solo l'ultimo messaggio dell'utente. Il modello vede molto di più, e ogni parte è fatturata come input. Somma tutto questo:

  1. Il prompt di sistema. Se mantieni una lunga personalità o guida di stile lì, viene pagato per ogni chiamata.
  2. La cronologia completa della conversazione. L'API non ricorda i turni precedenti. Li invii di nuovo, quindi contano di nuovo ogni volta.
  3. Documenti e frammenti recuperati che incollano nel prompt.
  4. Definizioni degli strumenti e schemi JSON se usi la chiamata di funzioni o un formato di output strutturato. Viaggiano con la richiesta, quindi prevedi che vengano conteggiati come input.
  5. Un piccolo overhead di formattazione per i ruoli dei messaggi. Sono solo pochi token per messaggio, ma il margine del 20% lo copre.

Lato output c'è un solo elemento: la risposta. Non ne controlli la lunghezza con precisione, ma puoi limitarla, il che ci porta alla sezione successiva.

Conteggio dei token con una piccola funzione

Ecco una breve funzione di utilità in Python. Stima il prompt da tutto il testo dei messaggi, applica il margine e restituisce un costo nel caso peggiore in base a max_tokens che intendi impostare.

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

Alimentalo con il prompt da 12.000 caratteri di prima con max_tokens=800 e ottieni 3.600 token di input e un caso peggiore di 3.600 / 1.000.000 x $0,15 + 800 / 1.000.000 x $0,50 = $0,00054 + $0,0004 = $0,00094. Meno di un decimo di centesimo, con il tetto noto in anticipo.

Una richiesta di chat stimata passo dopo passo

Prendi una chiamata di chat tipica e analizzala con la regola. Il prompt di sistema è di 800 caratteri. La cronologia contiene sei messaggi precedenti in media di 600 caratteri ciascuno, che sono 3.600. Il nuovo messaggio dell'utente è di 400 caratteri.

  1. Caratteri totali: 800 + 3.600 + 400 = 4.800.
  2. Stima grezza: 4.800 / 4 = 1.200 token.
  3. Con il margine del 20%: 1.200 x 1,2 = 1.440 token.
  4. Imposta max_tokens a 500 per la risposta.
  5. Costo nel caso peggiore: 1.440 / 1.000.000 x $0,15 = $0,000216, più 500 / 1.000.000 x $0,50 = $0,00025, quindi $0,000466.

Il controllo della finestra è banale qui, 1.440 + 500 è ben al di sotto di 100.000. Lo stesso metodo scala ai lavori batch. Per 2.000 documenti di 6.000 caratteri ciascuno, un documento è di 1.500 token, o 1.800 con il margine. Questo è 3.600.000 token di input, valenti $0,54. Con un limite di 200 token di output ciascuno, aggiungi 400.000 token, valenti $0,20, per un tetto di $0,74 per l'intero batch. Conosci il massimo prima che la prima richiesta lasci la tua macchina.

Quando la regola pratica è più debole

La regola dei quattro caratteri è basata sulla prosa inglese. Il testo in altre lingue, il codice sorgente, le tabelle, i numeri lunghi e gli emoji tendono a dividersi in pezzi più piccoli, quindi il conteggio reale è più alto della stima. Per questi input, aumenta il margine al 30 o 40 percento nel tuo primo passaggio, poi sostituisci l'ipotesi con un rapporto misurato dai tuoi dati di utilizzo registrati.

Rimanere dentro la finestra da 100.000 token

La finestra è condivisa dal prompt e dal completamento. Questo rende il controllo una somma, non un singolo confronto: prompt stimato più la risposta che permetti deve arrivare a 100.000 o meno.

Un caso pratico. Hai un file da 300.000 caratteri da analizzare.

  • Stima: 300.000 / 4 = 75.000 token.
  • Con il margine del 20%: 90.000 token.
  • Spazio rimasto per la risposta: 100.000 - 90.000 = 10.000 token. Questo è sufficiente per un lungo riassunto, quindi si adatta.

Ora prova un file da 360.000 caratteri. La stima grezza è di 90.000 token, e con il margine è di 108.000, che è sopra il limite prima ancora di lasciare spazio a una risposta. Devi dividere il file, inviarlo in parti o riassumere ogni parte e combinare i riassunti.

Ricorda la regola anche per le chat. Poiché la cronologia viene reinviata ogni turno, una conversazione iniziata con poche centinaia di token può avvicinarsi al limite. Taglia i turni vecchi, o sostituiscili con un breve riassunto, prima che la somma si avvicini.

Tagliare la cronologia per adattarla

Quando la somma supera il limite, rimuovi prima i turni più vecchi e mantieni il prompt di sistema. Scorri all'indietro a partire dal messaggio più recente, aggiungendo ciascuno a un totale cumulativo di caratteri, e fermati quando la stima più il tuo limite di risposta raggiunge il limite che ti sei imposto. Molti team scelgono un limite di lavoro ben al di sotto di 100.000, ad esempio 30.000 token, perché prompt più brevi sono più veloci da elaborare e più economici da inviare. Un breve riassunto dei turni rimossi, scritto una volta e mantenuto in cima alla cronologia, preserva il filo della conversazione senza pagare di nuovo per ogni parola vecchia.

Mettere un tetto alla risposta

I token di output costano $0,50 per 1M, un po' più di tre volte il tasso di input di $0,15, e non puoi conoscere la lunghezza della risposta in anticipo. Ciò che puoi fare è impostare max_tokens. Il modello si ferma quando raggiunge il limite, quindi il lato output del conto non può mai superare quel numero di token.

Scegli il limite dal compito. Una classificazione o un controllo sì/no richiede da 10 a 50 token. Una risposta a paragrafo ne richiede forse 300. Una scena di storia potrebbe richiedere 2.000. Se lasci fuori il parametro, il completamento è libero di usare il resto della finestra, il che va bene per la scrittura di lunga forma e spreco per brevi risposte.

Un avvertimento: un limite troppo piccolo interrompe una risposta a metà frase. Guarda finish_reason nella risposta. Se dice che l'output è stato troncato per lunghezza, aumenta il limite o chiedi al modello una risposta più breve.

Verifica la stima rispetto al conteggio reale

Dopo ogni chiamata, la risposta ti dà i conteggi reali dei token del prompt e del completamento nel suo blocco usage. Le risposte in streaming riportano l'utilizzo alla fine dello stream. Registra questi accanto alla tua stima per una settimana e guarda il rapporto.

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

La bandiera -i stampa le intestazioni di risposta, inclusi X-Balance-USD. Confronta il saldo prima e dopo un insieme di chiamate e dovrebbe corrispondere al costo calcolato dai dati di utilizzo.

Se le tue stime sono sistematicamente troppo basse, ad esempio del 15%, aumenta il margine. Lingue diverse dall'inglese e prompt ricchi di codice di solito ne richiedono uno più grande. Le cifre reali ti permettono di regolare una volta e smettere di preoccuparti.

Prossimi passi

Una volta che puoi dimensionare una richiesta, il passo successivo è trasformarla in un budget. La pagina dei prezzi elenca i tariffari e i bonus di ricarica, e la guida rapida mostra il formato della richiesta in diverse lingue. Se non hai ancora effettuato una chiamata, ottieni una chiave nella pagina delle chiavi API; il credito di prova da $0,50 con un solo clic è sufficiente per eseguire le tue prime dozzine di stime contro la realtà.

Domande e risposte

Posso contare i token con precisione prima di inviare una richiesta?

Non in modo affidabile con uno strumento generico. Il modello ha il suo tokenizzatore, quindi i conteggi da un altro tokenizzatore sono stime. I numeri esatti tornano nei dati di utilizzo dopo la chiamata.

Qual è la stima più rapida per il testo inglese?

Dividi il numero di caratteri per quattro. Per le parole, moltiplica per 1,33. Entrambi sono approssimativi e funzionano meglio con la prosa ordinaria.

Le definizioni di funzione e gli schemi JSON contano come input?

Fanno parte della richiesta che invii, quindi prevedi che contino come token di input. Misura una richiesta con e senza di essi per vedere la differenza.

Come posso evitare che una richiesta costi troppo?

Imposta max_tokens per limitare la risposta e riduci la cronologia delle chat prima di inviare. Insieme impongono un limite a entrambi i lati del conto.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.

Ottieni la chiave API