Nie potrzeba karty. Po rejestracji zdobądź $0,50 darmowego kredytu próbnego jednym kliknięciem (raz na osobę).
Pobierz klucz APIKluczowe punkty
- Dla tekstu po angielsku podzielenie liczby znaków przez cztery daje użyteczną wycenę tokenów. Dodaj 20% jako margines bezpieczeństwa.
- Policz wszystko, co wysyłasz: prompt systemowy, pełną historię czatu, dokumenty i definicje narzędzi.
- Prompt plus uzupełnienie muszą zmieścić się w oknie 100 000 tokenów, więc sprawdź sumę przed wysłaniem.
- Użyj max_tokens, aby ograniczyć koszt po stronie odpowiedzi.
Szybka wycena
Chcesz znać liczbę przed kliknięciem wyślij, ponieważ liczba mówi, czy zapytanie się mieści i ile mniej więcej będzie kosztować. Skrót dla angielskiej prozy to:
- liczba tokenów to około liczba znaków podzielona przez 4, lub
- liczba tokenów to około liczba słów pomnożona przez 1,33.
Prompt o długości 12 000 znaków to więc około 3 000 tokenów. Strona z 500 słów to około 670. To są średnie. Wynik różni się dla innych języków, kodu źródłowego i tekstu pełnego liczb lub symboli, które zużywają więcej tokenów na znak niż zwykły angielski. Traktuj wynik jako liczbę planistyczną i dodaj margines około 20%.
Ten margines zamienia szacunek w bezpieczny górny limit. Nasz prompt o 12 000 znaków to 3 000 x 1,2 = 3 600 tokenów do celów planistycznych.
Co wchodzi w skład zliczania
Ludzie niedoszacowują, bo mierzą tylko ostatnią wiadomość użytkownika. Model widzi znacznie więcej, a każda część jest rozliczana jako dane wejściowe. Zsumuj wszystkie te elementy:
- Prompt systemowy. Jeśli zachowasz tam długą personę lub przewodnik stylu, jest on rozliczany przy każdym wywołaniu.
- Pełna historia rozmowy. API nie pamięta wcześniejszych tur. Wysyłasz je ponownie, więc liczą się ponownie za każdym razem.
- Dokumenty i pobrane fragmenty, które wklejasz do promptu.
- Definicje narzędzi i schematy JSON, jeśli używasz wywoływania funkcji lub formatu wyjściowego ze strukturą. Podążają z zapytaniem, więc planuj je jako dane wejściowe.
- Mały narzut formatowania dla ról wiadomości. To tylko kilka tokenów na wiadomość, ale margines 20% to pokrywa.
Po stronie wyjścia jest tylko jeden element: odpowiedź. Nie kontrolujesz jej długości dokładnie, ale możesz ją ograniczyć, co prowadzi do kolejnego rozdziału.
Liczenie tokenów za pomocą małej funkcji
Oto krótki pomocnik w Pythonie. Szacuje on prompt na podstawie całego tekstu wiadomości, stosuje margines i zwraca koszt najgorszego przypadku na podstawie max_tokens, które planujesz ustawić.
import math
INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000
def plan(messages, max_tokens, margin=1.2):
chars = sum(len(m["content"]) for m in messages)
prompt = math.ceil(chars / 4 * margin)
if prompt + max_tokens > WINDOW:
raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
return prompt, worst
messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800)) # (3600, 0.00094)Podaj mu prompt 12 000 znaków z wcześniejszego przykładu z max_tokens=800 i otrzymasz 3 600 tokenów wejścia oraz najgorszy przypadek 3 600 / 1 000 000 x $0,15 + 800 / 1 000 000 x $0,50 = $0,00054 + $0,0004 = $0,00094. Mniej niż jedna dziesiąta centa, z limitem znanym z góry.
Szacowanie zapytania czatu krok po kroku
Weź typowe wywołanie czatu i przeanalizuj je według zasady. Prompt systemowy ma 800 znaków. Historia zawiera sześć wcześniejszych wiadomości o średniej długości 600 znaków każda, co daje 3 600. Nowa wiadomość użytkownika ma 400 znaków.
- Suma znaków: 800 + 3 600 + 400 = 4 800.
- Wycena surowa: 4 800 / 4 = 1 200 tokenów.
- Z marginesem 20%: 1 200 x 1,2 = 1 440 tokenów.
- Ustaw
max_tokensna 500 dla odpowiedzi. - Najgorszy koszt: 1 440 / 1 000 000 x $0,15 = $0,000216, plus 500 / 1 000 000 x $0,50 = $0,00025, więc $0,000466.
Sprawdzenie okna jest tu trywialne, 1 440 + 500 jest daleko poniżej 100 000. Ta sama metoda skaluje się do zadań wsadowych. Dla 2 000 dokumentów po 6 000 znaków każdy, jeden dokument to 1 500 tokenów, czyli 1 800 z marginesem. To 3 600 000 tokenów wejściowych, warte 0,54 $. Przy limicie 200 tokenów wyjściowych na dokument dodajesz 400 000 tokenów, warte 0,20 $, co daje maksymalny koszt 0,74 $ za cały wsad. Znasz maksymalny koszt przed wysłaniem pierwszego zapytania ze swojej maszyny.
Gdy zasada ogólna jest najsłabsza
Zasada czterech znaków opiera się na angielskiej prozie. Teksty w innych językach, kod źródłowy, tabele, długie liczby i emoji mają tendencję do dzielenia się na mniejsze części, więc prawdziwa liczba jest wyższa niż szacunek. Dla takich danych zwiększ margines do 30 lub 40 procent przy pierwszym podejściu, a następnie zastąp szacunek współczynnikiem zmierzonym z własnych danych z logów.
Pozostawanie w oknie 100 000 tokenów
Okno jest dzielone przez prompt i uzupełnienie. Sprawdzanie to suma, a nie pojedyncze porównanie: szacowany prompt plus odpowiedź, którą zezwalasz, muszą dać 100 000 lub mniej.
Rozwiązany przypadek. Masz plik o długości 300 000 znaków do przeanalizowania.
- Wycena: 300 000 / 4 = 75 000 tokenów.
- Z marginesem 20%: 90 000 tokenów.
- Pozostała przestrzeń na odpowiedź: 100 000 - 90 000 = 10 000 tokenów. To wystarczy na długie podsumowanie, więc się mieści.
Spróbuj teraz pliku 360 000 znaków. Wycena surowa to 90 000 tokenów, a z marginesem 108 000, co przekracza limit jeszcze przed zostawieniem miejsca na odpowiedź. Musisz podzielić plik, wysłać go częściami lub podsumować każdą część i połączyć podsumowania.
Pamiętaj o tej zasadzie też dla czatu. Ponieważ historia jest wysyłana ponownie w każdej turze, rozmowa, która zaczęła się od kilku setek tokenów, może powoli zbliżać się do limitu. Ogranicz stare tury lub zamień je na krótkie podsumowanie, zanim suma się zbliży.
Ograniczanie historii, aby się zmieścić
Gdy suma przekracza limit, usuń najstarsze tury jako pierwsze i zachowaj prompt systemowy. Idź wstecz od najnowszej wiadomości, dodając każdą do bieżącej sumy znaków, i zatrzymaj się, gdy wycena plus limit odpowiedzi osiągnie limit, który sobie ustawiłeś. Wiele zespołów wybiera limit roboczy znacznie poniżej 100 000, np. 30 000 tokenów, ponieważ krótsze prompty są szybsze w przetwarzaniu i tańsze w wysyłaniu. Krótkie podsumowanie usuniętych tur, napisane raz i utrzymywane na początku historii, zachowuje wątek rozmowy bez płacenia za każde stare słowo ponownie.
Ograniczanie odpowiedzi
Tokeny wyjściowe kosztują $0,50 za 1M, nieco ponad trzykrotność stawki $0,15 za dane wejściowe, a nie możesz znać długości odpowiedzi z góry. Co możesz zrobić, to ustawić max_tokens. Model zatrzymuje się, gdy osiągnie limit, więc strona wyjściowa rachunku nigdy nie przekroczy tej liczby tokenów.
Wybierz limit na podstawie zadania. Klasyfikacja lub sprawdzenie tak/nie wymaga 10 do 50 tokenów. Odpowiedź w formie akapitu potrzebuje około 300. Scena opowieści może potrzebować 2 000. Jeśli pominiesz ten parametr, uzupełnienie może użyć reszty okna, co jest OK dla pisania długich tekstów, ale marnotrawne przy krótkich odpowiedziach.
Jedna uwaga: zbyt mały limit obetnie odpowiedź w połowie zdania. Sprawdź finish_reason w odpowiedzi. Jeśli mówi, że wyjście zostało obcięte z powodu długości, zwiększ limit lub poproś model o krótszą odpowiedź.
Sprawdź wycenę przeciwko rzeczywistej liczbie
Po każdym wywołaniu odpowiedź zwraca rzeczywiste liczniki tokenów promptu i uzupełnienia w bloku usage. Odpowiedzi strumieniowe raportują zużycie na końcu strumienia. Zapisuj te dane obok szacunku przez tydzień i sprawdź stosunek.
curl -i https://api.llmtokenprices.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"max_tokens": 100,
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'Flaga -i wypisuje nagłówki odpowiedzi, w tym X-Balance-USD. Porównaj saldo przed i po serii wywołań i powinno ono zgadzać się z kosztem obliczonym na podstawie liczb zużycia.
Jeśli Twoje wyceny są systematycznie zbyt niskie, np. o 15%, zwiększ margines. Języki inne niż angielski i prompty obfitujące w kod zwykle wymagają większego. Rzeczywiste liczby pozwalają dobrać raz i przestać się martwić.
Gdzie iść dalej
Gdy już umiesz oszacować zapytanie, kolejnym krokiem jest zamiana go na budżet. Strona cen podaje stawki i bonusy za doładowanie, a szybki start pokazuje format zapytania w kilku językach. Jeśli jeszcze nie wysłałeś żadnego wywołania, uzyskaj klucz na stronie kluczy API; kredyt próbny za 0,50 $ jednym kliknięciem wystarczy, aby przetestować swoje pierwsze kilkanaście szacunków w praktyce.
