TR ▾

LLM İsteklerinde Token Sayısını Göndermeden Önce Hesaplama

Göndermeden önce LLM isteklerindeki tokenları şu şekilde hesaplayın: karakter sayısını dört bölün, bir marj ekleyin ve yanıtı max_tokens ile sınırlandırın. API ardından kesin sayıları bildirir, böylece tahmininizi kontrol edebilirsiniz.

güncellendi

Büyüteç altında küçük renkli parçalara bölünmüş bir kağıt şeridi ölçen cetvel

Kart gerekmez. Kayıt olduktan sonra, tek tıkla (kişi başı bir kez) $0,50 ücretsiz deneme kredisi talep edebilirsiniz.

API anahtarı al

Temel noktalar

  • İngilizce metinler için karakter sayısını dörde bölmek kullanılabilir bir token tahmini verir. Güvenlik payı olarak %20 ekleyin.
  • Gönderdiğiniz her şeyi sayın: sistem istemi, tam sohbet geçmişi, belgeler ve araç tanımları.
  • İstem ve tamamlama 100.000 token penceresine sığmalıdır, bu nedenle göndermeden önce toplamı kontrol edin.
  • Maliyetin çıktı tarafına bir üst sınır koymak için max_tokens kullanın.

Hızlı tahmin

Gönder butonuna basmadan önce bir sayı istersiniz, çünkü sayı isteğin sığıp sığmayacağını ve yaklaşık maliyetini gösterir. İngilizce metinler için kısayol şudur:

  • tokenlar karakterlerin 4'e bölünmesiyle yaklaşık olarak hesaplanır, veya
  • tokenlar yaklaşık olarak kelime sayısının 1,33 ile çarpılmasıyla elde edilir.

12.000 karakterlik bir istem bu nedenle yaklaşık 3.000 token eder. 500 kelimelik bir sayfa yaklaşık 670 token eder. Bunlar ortalamalardır. Diğer diller, kaynak kodu ve sayılar veya sembollerle dolu metinler için sapma gösterirler; bunlar düz İngilizceye göre karakter başına daha fazla token kullanma eğilimindedir. Sonucu bir planlama figürü olarak kabul edin ve yaklaşık %20'lik bir pay ekleyin.

Bu pay, tahmini güvenli bir üst sınıra dönüştürür. 12.000 karakterlik istemimiz planlama amaçları için 3.000 x 1,2 = 3.600 token olur.

Sayıya neler girer

İnsanlar genellikle yalnızca son kullanıcı mesajını ölçtükleri için alt tahmin yaparlar. Model bundan çok daha fazlasını görür ve her parça girdi olarak faturalandırılır. Bunların toplamını alın:

  1. Sistem istemi. Uzun bir kişilik veya stil rehberi orada tutuyorsanız, bu her çağrıda ödenir.
  2. Tam sohbet geçmişi. API önceki dönüşleri hatırlamaz. Onları yeniden gönderirsiniz, bu nedenle her seferinde tekrar sayılırlar.
  3. İstem içine yapıştırdığınız belgeler ve alınan parçalar.
  4. Araç tanımları ve JSON şemaları eğer araç çağırma veya yapılandırılmış çıktı formatı kullanıyorsanız. Bunlar istekle birlikte gönderilir, bu yüzden bunların giriş olarak sayılacağını planlayın.
  5. Mesaj rolleri için küçük biçimleme yükü. Bu, mesaj başına birkaç token kadardır ancak %20lik marj bunu kapsar.

Çıktı tarafında tek bir öğe vardır: yanıt. Uzunluğunu tam olarak kontrol edemezsiniz ancak onu sınırlayabilirsiniz, bu da bir sonraki bölüme götürür bizi.

Küçük bir işlevle token sayma

İşte kısa bir Python yardımcı programı. Tüm mesaj metinlerinden istemi tahmin eder, marjı uygular ve ayarlamayı planladığınız max_tokens değerine dayalı olarak kötü durum maliyetini döndürür.

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

Daha önceki 12.000 karakterlik istemi max_tokens=800 ile besleyin ve 3.600 girdi tokenı ile en kötü durumda 3.600 / 1.000.000 x $0,15 + 800 / 1.000.000 x $0,50 = $0,00054 + $0,0004 = $0,00094 elde edersiniz. Bir sentin onda birinden az, tavan önceden bellidir.

Adım adım tahmin edilen bir sohbet isteği

Tipik bir sohbet çağrısını alın ve kuralı uygulayarak adım adım ilerleyin. Sistem istemi 800 karakterdir. Geçmiş, ortalama 600 karakterlik altı önceki mesaj içerir, bu da 3.600 eder. Yeni kullanıcı mesajı 400 karakterdir.

  1. Toplam karakter: 800 + 3.600 + 400 = 4.800.
  2. Ham tahmin: 4.800 / 4 = 1.200 token.
  3. %20'lik pay ile: 1.200 x 1,2 = 1.440 token.
  4. Yanıt için max_tokens değerini 500 olarak ayarlayın.
  5. Kötü durum maliyeti: 1.440 / 1.000.000 x $0,15 = $0,000216, artı 500 / 1.000.000 x $0,50 = $0,00025, yani $0,000466.

Pencere kontrolü burada basittir, 1.440 + 500, 100.000'in çok altındadır. Aynı yöntem toplu işlere ölçeklenir. 6.000 karakterlik 2.000 belge için, bir belge 1.500 token veya pay ile 1.800 token eder. Bu, 3.600.000 giriş tokenı eder ve $0,54 değerindedir. Her biri için 200 çıktı tokenı ile bir üst sınır koyarsanız, 400.000 token eklersiniz, bu da $0,20 değerindedir; tüm toplu işlem için üst sınır $0,74 olur. İlk istek makinenizden ayrılmadan önce maksimum maliyeti bilirsiniz.

Kaba kuralın en zayıf olduğu yer

Dört karakterlik kural İngilizce metinler üzerine kuruludur. Diğer dillerdeki metinler, kaynak kodu, tablolar, uzun sayılar ve emoji daha küçük parçalara ayrılma eğilimindedir, bu nedenle gerçek sayı tahminden daha yüksek çıkar. Bu girdiler için ilk denemenizde payı %30 veya %40'a çıkarın, ardından tahmini kendi kaydedilen kullanım verilerinizden ölçülen bir oranla değiştirin.

100.000 token penceresi içinde kalmak

Pencere, istem ve tamamlama tarafından paylaşılır. Bu, kontrolü tek bir karşılaştırmadan ziyade bir toplam yapar: tahmini istem artı izin verdiğiniz yanıt 100.000 veya daha az olmalıdır.

Çözülmüş bir vaka. Analiz edilecek 300.000 karakterlik bir dosyanız var.

  • Tahmin: 300.000 / 4 = 75.000 token.
  • %20'lik pay ile: 90.000 token.
  • Yanıt için kalan alan: 100.000 - 90.000 = 10.000 token. Bu uzun bir özet için yeterlidir, bu nedenle sığar.

Şimdi 360.000 karakterlik bir dosyayı deneyin. Ham tahmin 90.000 token ve pay ile 108.000 token olur, bu bile bir cevap için yer bırakmadan önce limiti aşar. Dosyayı bölmeniz, parçalar halinde göndermeniz veya her parçayı özetleyip özetleri birleştirmeniz gerekir.

Sohbetler için kuralı da aklınızda tutun. Geçmiş her dönüşte yeniden gönderildiğinden, birkaç yüz token ile başlayan bir sohbet limite yaklaşabilir. Toplam yaklaştığında eski dönüşleri kısaltın veya bunları kısa bir özetle değiştirin.

Sığdırmak için geçmişi kısaltma

Toplam aştığında, en eski konuşmaları önce kaldırın ve sistem istemini koruyun. En yeni mesajdan geriye doğru ilerleyin, her birini çalışan karakter toplamına ekleyin ve tahmininiz artı yanıt tavanınız kendi belirlediğiniz limite ulaştığında durun. Birçok ekip, daha kısa istemlerin daha hızlı işlenmesini ve daha ucuz gönderilmesini sağlamak için 100.000'in oldukça altında, örneğin 30.000 token gibi bir çalışma limiti seçer. Kaldırılan konuşmaların bir kez yazılıp geçmişin en üstünde tutulan kısa özeti, her eski kelime için tekrar ödeme yapmadan sohbetin akışını korur.

Yanıta üst sınır koyma

Çıktı tokenları 1M başına $0,50 tutarındadır, bu da $0,15 giriş oranından üç katından biraz fazladır ve yanıt uzunluğunu önceden bilemezsiniz. Yapabileceğiniz şey max_tokens değerini ayarlamaktır. Model, üst limite ulaştığında durur, bu nedenle faturanın çıktı tarafı bu token sayısını aşamaz.

Görevden bir üst sınırı seçin. Bir sınıflandırma veya evet/hayır kontrolü için 10 ile 50 token gerekir. Bir paragraf cevabı için belki 300 token gerekir. Bir hikaye sahnesi için 2.000 token gerekebilir. Parametreyi belirtmezseniz, tamamlama pencerenin geri kalanını kullanmaya özgür olur; bu uzun yazılar için uygundur ancak kısa cevaplar için israf yaratır.

Bir uyarı: çok küçük bir üst sınır, yanıtı cümle ortasında keser. Yanıttaki finish_reason değerine bakın. Çıktının uzunluk nedeniyle kesildiğini söylüyorsa, üst sınırı artırın veya modelden daha kısa bir yanıt isteyin.

Tahmini gerçek sayıyla karşılaştırın

Her çağrıdan sonra, yanıt gerçek istem ve tamamlama token sayılarını usage bloğunda verir. Akış yanıtları, akışın sonunda kullanım bilgilerini bildirir. Bunları bir haftalık tahmininizin yanına günlüğe kaydedin ve oranı inceleyin.

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

-i bayrağı, X-Balance-USD dahil olmak üzere yanıt başlıklarını yazdırır. Bir dizi çağrıdan önce ve sonra bakiyeyi karşılaştırın ve kullanım sayılarından hesaplanan maliyetle eşleşmesi gerekir.

Tahminleriniz tutarlı olarak düşük çıkarsa, örneğin %15 kadar, payı artırın. İngilizce dışındaki diller ve kod ağırlıklı istemler genellikle daha büyük bir pay gerektirir. Gerçek sayılar bir kez ayarlamanızı sağlar ve endişelenmeyi bırakırsınız.

Sonraki adımlar

Bir isteği boyutlandırabildiğinizde, sonraki adım onu bir bütçeye dönüştürmektir. fiyatlandırma sayfası oranları ve bakiye yükleme bonuslarını listeler ve hızlı başlangıç isteği çeşitli dillerde gösterir. Henüz bir çağrı yapmadıysanız, API anahtarı sayfası üzerinde bir anahtar alın; tek tıklamayla $0,50 deneme kredisi, ilk düzine tahmininizi gerçekle karşılaştırmak için yeterlidir.

Sorular ve cevaplar

Bir istek göndermeden tokenları tam olarak sayabilir miyim?

Genel bir araçla güvenilir şekilde değil. Modelin kendi tokenizer'ı vardır, bu nedenle başka bir tokenizer'dan gelen sayılar tahmin niteliğindedir. Kesin sayılar, çağrı sonrası kullanım verisinde döner.

İngilizce metin için en hızlı tahmin nedir?

Karakter sayısını dörde bölün. Kelimeler için 1,33 ile çarpın. Her ikisi de kabaca bir yaklaşımdır ve sıradan metinlerde en iyi şekilde çalışır.

Araç tanımları ve JSON şemaları girdi olarak sayılır mı?

Gönderdiğiniz isteğin bir parçasıdırlar, bu nedenle bunların girdi tokenları olarak sayılacağını planlayın. Farkı görmek için onlarla ve onlar olmadan bir isteği ölçün.

Bir isteğin çok pahalıya mal olmasını nasıl önlerim?

Yanıtı sınırlamak için max_tokens ayarını yapın ve göndermeden önce sohbet geçmişini kısaltın. İkisi birlikte faturayı iki taraftan da sınırlar.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al