Карта не нужна. После регистрации получите $0,50 бесплатного пробного баланса в один клик (один раз на человека).
Получить API-ключКлючевые моменты
- Для английского текста разделение количества символов на четыре даёт приемлемую оценку токенов. Добавьте 20% в качестве запаса прочности.
- Считайте всё, что вы отправляете: системный промпт, полную историю чата, документы и определения инструментов.
- Промпт плюс ответ модели должны помещаться в контекстное окно на 100 000 токенов, поэтому проверьте сумму перед отправкой.
- Используйте max_tokens, чтобы ограничить расходы на вывод.
Быстрая оценка
Вам нужно число до нажатия кнопки отправки, потому что оно показывает, помещается ли запрос, и примерно сколько он будет стоить. Быстрый метод для английского текста:
- токены — это примерно количество символов, делённое на 4, или
- токены — это примерно количество слов, умноженное на 1,33.
Промпт на 12 000 символов — это примерно 3 000 токенов. Страница на 500 слов — около 670 токенов. Это средние значения. Они смещаются для других языков, исходного кода и текста, полного чисел или символов, которые обычно требуют больше токенов на символ, чем обычный английский. Воспринимайте результат как плановую цифру и добавляйте запас около 20%.
Этот запас превращает оценку в безопасный верхний предел. Наш промпт на 12 000 символов становится 3 000 x 1,2 = 3 600 токенов для целей планирования.
Что входит в подсчёт
Люди недооценивают, потому что измеряют только последнее сообщение пользователя. Модель видит гораздо больше, и каждая часть оплачивается как входные данные. Сложите всё это:
- Системный промпт. Если вы храните там длинный персонаж или руководство по стилю, оно оплачивается при каждом вызове.
- Полная история разговора. API не сохраняет предыдущие реплики. Вы отправляете их снова, поэтому они учитываются заново каждый раз.
- Документы и извлечённые фрагменты, которые вы вставляете в промпт.
- Определения инструментов и JSON-схемы, если вы используете вызов функций или структурированный формат вывода. Они передаются вместе с запросом, поэтому планируйте их как входные токены.
- Небольшой накладной расход на форматирование ролей сообщений. Это всего несколько токенов на сообщение, но запас в 20% покрывает это.
Со стороны вывода есть только один элемент: ответ. Вы не можете точно контролировать его длину, но можете его ограничить, что приводит нас к следующему разделу.
Подсчёт токенов с помощью небольшой функции
Вот краткая вспомогательная функция на Python. Она оценивает промпт по тексту всех сообщений, применяет запас и возвращает стоимость в наихудшем случае на основе max_tokens, которые вы планируете установить.
import math
INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000
def plan(messages, max_tokens, margin=1.2):
chars = sum(len(m["content"]) for m in messages)
prompt = math.ceil(chars / 4 * margin)
if prompt + max_tokens > WINDOW:
raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
return prompt, worst
messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800)) # (3600, 0.00094)Передайте в неё промпт из 12 000 символов из предыдущего примера с max_tokens=800, и вы получите 3 600 входных токенов и наихудший сценарий: 3 600 / 1 000 000 × $0,15 + 800 / 1 000 000 × $0,50 = $0,00054 + $0,0004 = $0,00094. Меньше одной десятой цента, при этом верхняя граница известна заранее.
Оценка запроса чата по шагам
Возьмите типичный вызов чата и разберите его по правилу. Системный промпт составляет 800 символов. История содержит шесть предыдущих сообщений со средним размером 600 символов каждое, что составляет 3 600. Новое сообщение пользователя — 400 символов.
- Общее количество символов: 800 + 3 600 + 400 = 4 800.
- Первичная оценка: 4 800 / 4 = 1 200 токенов.
- С запасом 20%: 1 200 x 1,2 = 1 440 токенов.
- Установите
max_tokensравным 500 для ответа. - Стоимость в наихудшем случае: 1 440 / 1 000 000 × $0,15 = $0,000216, плюс 500 / 1 000 000 × $0,50 = $0,00025, итого $0,000466.
Здесь проверка окна тривиальна: 1 440 + 500 значительно ниже 100 000. Тот же метод масштабируется для пакетных задач. Для 2 000 документов по 6 000 символов в каждом один документ составляет 1 500 токенов, или 1 800 с учётом запаса. Это 3 600 000 входных токенов стоимостью $0,54. С лимитом 200 выходных токенов на каждый вы добавляете 400 000 токенов стоимостью $0,20, что даёт потолок $0,74 на весь пакет. Вы знаете максимум до того, как первый запрос покинет вашу машину.
Когда правило работает слабее всего
Правило четырёх символов основано на английской прозе. Текст на других языках, исходный код, таблицы, длинные числа и эмодзи обычно разбиваются на более мелкие фрагменты, поэтому фактическое количество оказывается выше оценки. Для таких вводов увеличьте запас до 30 или 40 процентов при первой попытке, а затем замените догадку на коэффициент, измеренный по вашим собственным данным логов использования.
Оставайтесь в рамках контекстного окна на 100 000 токенов
Контекстное окно разделяют промпт и ответ. Это делает проверку суммой, а не одиночным сравнением: оценённый промпт плюс ответ, который вы разрешаете, должны в сумме составлять 100 000 или меньше.
Разобранный случай. У вас есть файл на 300 000 символов для анализа.
- Оценка: 300 000 / 4 = 75 000 токенов.
- С запасом 20%: 90 000 токенов.
- Оставшееся место для ответа: 100 000 - 90 000 = 10 000 токенов. Этого достаточно для длинного резюме, так что всё помещается.
Теперь попробуйте файл на 360 000 символов. Первоначальная оценка составляет 90 000 токенов, а с учётом запаса — 108 000, что превышает лимит ещё до того, как вы оставите место для ответа. Вам нужно разделить файл, отправить его частями или суммировать каждую часть и объединить результаты.
Помните правило и для чатов. Поскольку история отправляется снова на каждом ходу, разговор, начавшийся с нескольких сотен токенов, может постепенно приближаться к лимиту. Удалите старые ходы или замените их кратким резюме, прежде чем сумма приблизится к пределу.
Удаление истории для вписывания в лимит
Когда сумма превышает лимит, сначала удаляйте самые старые ходы и сохраняйте системный промпт. Двигайтесь назад от самого нового сообщения, добавляя каждое к текущей сумме символов, и остановитесь, когда оценка плюс ваш предел ответа достигнет установленного вами лимита. Многие команды выбирают рабочий лимит значительно ниже 100 000, например 30 000 токенов, потому что короткие промпты быстрее обрабатываются и дешевле отправлять. Краткое резюме удалённых ходов, написанное один раз и сохранённое в начале истории, сохраняет нить разговора, не оплачивая каждое старое слово снова.
Установка предела для ответа
Токены вывода стоят $0,50 за 1 млн, что немного больше, чем ставка $0,15 за ввод, и вы не можете заранее узнать длину ответа. Однако вы можете установить max_tokens. Модель останавливается при достижении предела, поэтому стоимость вывода никогда не превысит стоимость этого количества токенов.
Выбирайте предел из задачи. Классификация или проверка да/нет требует от 10 до 50 токенов. Ответ абзацем требует, возможно, 300. Сцена истории может потребовать 2 000. Если вы не указываете параметр, дополнение свободно использует оставшуюся часть окна, что хорошо для длинных текстов, но расточительно для коротких ответов.
Одно предупреждение: слишком маленький предел обрезает ответ на полуслове. Проверьте finish_reason в ответе. Если указано, что вывод был усечён по длине, увеличьте предел или попросите модель дать более короткий ответ.
Проверьте оценку против реального подсчёта
После каждого вызова ответ содержит реальные количества токенов промпта и завершения в блоке usage. В потоковых ответах информация об использовании выводится в конце потока. Записывайте эти данные рядом с вашей оценкой в течение недели и отслеживайте соотношение.
curl -i https://api.llmtokenprices.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"max_tokens": 100,
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'Флаг -i выводит заголовки ответа, включая X-Balance-USD. Сравните баланс до и после серии вызовов — он должен совпадать с расчётной стоимостью на основе данных об использовании.
Если ваши оценки систематически занижены, скажем на 15%, увеличьте запас. Языки, отличные от английского, и промпты, богатые кодом, обычно требуют большего запаса. Реальные цифры позволяют вам настроить один раз и перестать беспокоиться.
Куда двигаться дальше
Когда вы научитесь оценивать запрос, следующим шагом будет перевод этого в бюджет. На странице цен указаны тарифы и бонусы за пополнение, а в быстром старте показан формат запроса на нескольких языках. Если вы ещё не сделали вызов, получите ключ на странице API-ключей; пробного кредита на $0,50 в один клик хватит, чтобы проверить свои первые 12 оценок на практике.
