Tidak perlu kartu. Setelah mendaftar, klaim $0,50 kredit uji coba gratis dengan satu klik (sekali per orang).
Dapatkan kunci APIPoin utama
- Untuk teks bahasa Inggris, karakter dibagi empat memberikan perkiraan token yang dapat digunakan. Tambahkan 20% sebagai margin keamanan.
- Hitung semua yang Anda kirim: prompt sistem, riwayat obrolan lengkap, dokumen, dan definisi alat.
- Prompt plus penyelesaian harus muat dalam jendela 100.000 token, jadi periksa jumlahnya sebelum Anda mengirim.
- Gunakan max_tokens untuk menempatkan batas pada sisi output biaya.
Perkiraan cepat
Anda menginginkan angka sebelum Anda menekan kirim, karena angka tersebut memberi tahu Anda apakah permintaan muat, dan kira-kota berapa biayanya. Jalan pintas untuk prosa bahasa Inggris adalah:
- token adalah sekitar karakter dibagi 4, atau
- token adalah sekitar kata-kata dikalikan 1,33.
Prompt karakter 12.000 oleh karena itu sekitar 3.000 token. Halaman 500 kata adalah sekitar 670. Ini adalah rata-rata. Mereka menyimpang untuk bahasa lain, untuk kode sumber dan untuk teks penuh angka atau simbol, yang semuanya cenderung menggunakan lebih banyak token per karakter daripada bahasa Inggris biasa. Anggap hasilnya sebagai angka perencanaan dan tambahkan margin sekitar 20%.
Margin itu mengubah perkiraan menjadi batas atas yang aman. Prompt karakter 12.000 kita menjadi 3.000 x 1,2 = 3.600 token untuk tujuan perencanaan.
Apa yang masuk ke dalam hitungan
Orang-orang menghitung kurang karena mereka hanya mengukur pesan pengguna terakhir. Model melihat jauh lebih banyak dari itu, dan setiap bagian ditagih sebagai input. Jumlahkan semua ini:
- Prompt sistem. Jika Anda menyimpan persona atau panduan gaya yang panjang di sana, itu dibayar untuk setiap panggilan.
- Riwayat percakapan lengkap. API tidak mengingat giliran sebelumnya. Anda mengirimkannya kembali, sehingga mereka dihitung lagi setiap kali.
- Dokumen dan cuplikan yang diambil yang Anda tempelkan ke dalam prompt.
- Definisi alat dan skema JSON jika Anda menggunakan pemanggilan fungsi atau format output terstruktur. Mereka berjalan bersama permintaan, jadi rencanakan agar itu dihitung sebagai input.
- Overhead format kecil untuk peran pesan. Itu hanya beberapa token per pesan, tetapi margin 20% mencakupnya.
Di sisi output ada satu item: balasan. Anda tidak mengontrol panjangnya secara tepat, tetapi Anda dapat membatasinya, yang membawa kita ke bagian berikutnya.
Menghitung token dengan fungsi kecil
Berikut adalah fungsi bantuan Python. Ini memperkirakan prompt dari semua teks pesan, menerapkan margin, dan mengembalikan biaya terburuk berdasarkan max_tokens yang Anda rencanakan.
import math
INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000
def plan(messages, max_tokens, margin=1.2):
chars = sum(len(m["content"]) for m in messages)
prompt = math.ceil(chars / 4 * margin)
if prompt + max_tokens > WINDOW:
raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
return prompt, worst
messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800)) # (3600, 0.00094)Berikan prompt karakter 12.000 dari sebelumnya dengan max_tokens=800 dan Anda mendapatkan 3.600 token input dan kasus terburuk 3.600 / 1.000.000 x $0,15 + 800 / 1.000.000 x $0,50 = $0,00054 + $0,0004 = $0,00094. Di bawah sepersepuluh sen, dengan batas diketahui sebelumnya.
Perkiraan permintaan obrolan langkah demi langkah
Ambil panggilan chat tipikal dan lakukan dengan aturan tersebut. Prompt sistem adalah 800 karakter. Riwayat menyimpan enam pesan sebelumnya yang rata-rata 600 karakter masing-masing, yang merupakan 3.600. Pesan pengguna baru adalah 400 karakter.
- Total karakter: 800 + 3.600 + 400 = 4.800.
- Perkiraan mentah: 4.800 / 4 = 1.200 token.
- Dengan margin 20%: 1.200 x 1,2 = 1.440 token.
- Atur
max_tokenske 500 untuk balasan. - Biaya kasus terburuk: 1.440 / 1.000.000 x $0,15 = $0,000216, ditambah 500 / 1.000.000 x $0,50 = $0,00025, jadi $0,000466.
Pemeriksaan jendela sangat sederhana di sini, 1.440 + 500 jauh di bawah 100.000. Metode yang sama dapat diskalakan ke pekerjaan batch. Untuk 2.000 dokumen masing-masing 6.000 karakter, satu dokumen adalah 1.500 token, atau 1.800 dengan margin. Itu adalah 3.600.000 token input, senilai $0,54. Dengan batas 200 token output masing-masing, Anda menambahkan 400.000 token, senilai $0,20, untuk batas atas $0,74 pada seluruh batch. Anda mengetahui maksimum sebelum permintaan pertama meninggalkan mesin Anda.
Ketika aturan praktis paling lemah
Aturan empat karakter dibangun berdasarkan prosa bahasa Inggris. Teks dalam bahasa lain, kode sumber, tabel, angka panjang, dan emoji cenderung terpecah menjadi potongan lebih kecil, sehingga jumlah sebenarnya lebih tinggi dari perkiraan. Untuk input tersebut, tingkatkan margin menjadi 30 atau 40 persen pada percobaan pertama Anda, lalu ganti tebakan dengan rasio yang diukur dari data penggunaan log Anda sendiri.
Tetap di dalam jendela 100.000 token
Jendela ini dibagi antara prompt dan penyelesaian. Itu membuat pemeriksaan menjadi penjumlahan, bukan perbandingan tunggal: prompt perkiraan ditambah balasan yang Anda izinkan harus berjumlah 100.000 atau kurang.
Contoh kasus. Anda memiliki file 300.000 karakter untuk dianalisis.
- Perkiraan: 300.000 / 4 = 75.000 token.
- Dengan margin 20%: 90.000 token.
- Sisa ruang untuk balasan: 100.000 - 90.000 = 10.000 token. Itu cukup untuk ringkasan panjang, jadi itu muat.
Sekarang coba file 360.000 karakter. Perkiraan kasar adalah 90.000 token, dan dengan margin adalah 108.000, yang melebihi batas bahkan sebelum Anda memberi ruang untuk jawaban. Anda perlu memisahkan file, mengirimnya secara bertahap, atau meringkas setiap bagian dan menggabungkan ringkasannya.
Ingat juga aturan untuk chat. Karena riwayat dikirim ulang setiap giliran, percakapan yang dimulai sebagai beberapa ratus token dapat merayap menuju batas. Potong giliran lama, atau gantilah dengan ringkasan singkat, sebelum jumlahnya mendekati.
Memangkas riwayat agar muat
Ketika jumlahnya melebihi, buang giliran tertua terlebih dahulu dan pertahankan prompt sistem. Berjalan mundur dari pesan terbaru, menambahkan setiap pesan ke total karakter berjalan, dan berhenti ketika perkiraan ditambah batas balasan Anda mencapai batas yang Anda tetapkan untuk diri Anda sendiri. Banyak tim memilih batas kerja yang jauh di bawah 100.000, seperti 30.000 token, karena prompt yang lebih pendek lebih cepat diproses dan lebih murah untuk dikirim. Ringkasan singkat dari giliran yang dibuang, ditulis sekali dan disimpan di bagian atas riwayat, mempertahankan utas percakapan tanpa membayar untuk setiap kata lama lagi.
Menempatkan batas pada balasan
Token output berharga $0,50 per 1M, sedikit lebih dari tiga kali tarif input $0,15, dan Anda tidak dapat mengetahui panjang balasan sebelumnya. Yang dapat Anda lakukan adalah menetapkan max_tokens. Model berhenti ketika mencapai batas, sehingga sisi output tagihan tidak pernah melebihi jumlah token tersebut.
Pilih batas dari tugas. Klasifikasi atau pemeriksaan ya/tidak membutuhkan 10 hingga 50 token. Jawaban paragraf mungkin membutuhkan 300. Adegan cerita mungkin membutuhkan 2.000. Jika Anda meninggalkan parameter, penyelesaian bebas menggunakan sisa jendela, yang bagus untuk penulisan bentuk panjang dan boros untuk jawaban pendek.
Satu peringatan: batas yang terlalu kecil memotong balasan di tengah kalimat. Lihat finish_reason dalam respons. Jika itu mengatakan output dipotong karena panjang, naikkan batas atau minta model untuk jawaban yang lebih pendek.
Periksa perkiraan terhadap hitungan nyata
Setelah setiap panggilan, respons memberi Anda hitungan token prompt dan penyelesaian nyata dalam blok usage. Respons streaming melaporkan penggunaan di akhir aliran. Log ini di samping perkiraan Anda selama seminggu dan lihat rasio.
curl -i https://api.llmtokenprices.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"max_tokens": 100,
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'Bendera -i mencetak header respons, termasuk X-Balance-USD. Bandingkan saldo sebelum dan setelah serangkaian panggilan dan itu harus cocok dengan biaya yang dihitung dari angka penggunaan.
Jika perkiraan Anda berjalan konsisten rendah, katakanlah 15%, naikkan margin. Bahasa selain bahasa Inggris dan prompt yang banyak kode biasanya membutuhkan yang lebih besar. Angka nyata memungkinkan Anda menyesuaikan sekali dan berhenti khawatir.
Langkah selanjutnya
Setelah Anda dapat mengukur permintaan, langkah selanjutnya adalah mengubahnya menjadi anggaran. Halaman harga mencantumkan tarif dan bonus isi ulang, dan quickstart menunjukkan format permintaan dalam beberapa bahasa. Jika Anda belum melakukan panggilan, dapatkan kunci di halaman kunci API; kredit uji coba $0,50 satu klik sudah cukup untuk menjalankan selusin perkiraan pertama Anda melawan kenyataan.
