कोई कार्ड आवश्यक नहीं। साइन-अप के बाद, एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम करें (प्रति व्यक्ति एक बार)।
API कुंजी पाएँमुख्य बिंदु
- अंग्रेजी पाठ के लिए, अक्षरों को चार से विभाजित करने से एक उपयोगी टोकन अनुमान मिलता है। सुरक्षा मार्जिन के रूप में 20% जोड़ें।
- आपके द्वारा भेजी गई हर चीज की गणना करें: सिस्टम प्रॉम्प्ट, पूरा चैट इतिहास, दस्तावेज़ और टूल परिभाषाएँ।
- प्रॉम्प्ट और पूर्णता को 100,000-टोकन विंडो में फिट होना चाहिए, इसलिए भेजने से पहले योग की जांच करें।
- लागत के आउटपुट पक्ष पर एक छत लगाने के लिए max_tokens का उपयोग करें।
तेज़ अनुमान
आपको भेजने से पहले एक संख्या चाहिए, क्योंकि यह संख्या बताती है कि अनुरोध फिट बैठता है या नहीं, और इसका अनुमानित खर्च कितना होगा। अंग्रेज़ी निबंध के लिए शॉर्टकट है:
- टोकन लगभग अक्षरों को 4 से विभाजित करने के बराबर हैं, या
- टोकन शब्दों के लगभग 1.33 गुना होते हैं।
इसलिए 12,000-अक्षर का प्रॉम्प्ट लगभग 3,000 टोकन का होता है। 500 शब्दों की एक पेज लगभग 670 टोकन का होता है। ये औसत मान हैं। अन्य भाषाओं, स्रोत कोड और संख्याओं या प्रतीकों से भरे टेक्स्ट के लिए ये मान बदल जाते हैं, क्योंकि ये सादे अंग्रेजी टेक्स्ट की तुलना में प्रति अक्षर अधिक टोकन का उपयोग करते हैं। इसे एक योजना आंकड़े के रूप में लें और लगभग 20% की मार्जिन जोड़ें।
यह मार्जिन अनुमान को एक सुरक्षित ऊपरी सीमा में बदल देता है। हमारा 12,000-अक्षर का प्रॉम्प्ट योजना के लिए 3,000 x 1.2 = 3,600 टोकन बन जाता है।
गणना में क्या शामिल है
लोग अक्सर कम मापते हैं क्योंकि वे केवल अंतिम उपयोगकर्ता संदेश को मापते हैं। मॉडल उससे कहीं अधिक देखता है, और हर हिस्सा इनपुट के रूप में बिल किया जाता है। इन सभी को जोड़ें:
- सिस्टम प्रॉम्प्ट। यदि आप वहां एक लंबा पर्सोना या स्टाइल गाइड रखते हैं, तो हर कॉल के लिए उसके लिए भुगतान किया जाता है।
- संपूर्ण संवाद इतिहास। API पूर्ववर्ती बातचीत याद नहीं रखता। आपको उन्हें फिर से भेजना होता है, इसलिए वे हर बार इनपुट के रूप में गिने जाते हैं।
- दस्तावेज़ और पुनर्प्राप्त स्निपेट जिन्हें आप प्रॉम्प्ट में पेस्ट करते हैं।
- टूल परिभाषाएँ और JSON स्कीमा यदि आप टूल कॉलिंग या संरचित आउटपुट फॉर्मेट का उपयोग करते हैं। वे अनुरोध के साथ भेजे जाते हैं, इसलिए उन्हें इनपुट के रूप में गिने जाने की योजना बनाएँ।
- संदेश भूमिकाओं के लिए छोटा फॉर्मेटिंग ओवरहेड। यह प्रति संदेश केवल कुछ टोकन है, लेकिन 20% मार्जिन इसे कवर करता है।
आउटपुट साइड पर एक ही आइटम है: जवाब। आप इसकी लंबाई को सटीक रूप से नियंत्रित नहीं कर सकते, लेकिन आप इसे कैप कर सकते हैं, जो हमें अगले सेक्शन की ओर ले जाता है।
छोटे फंक्शन के साथ टोकन गिनना
यहाँ एक छोटा Python हेल्पर है। यह सभी संदेश पाठ से प्रॉम्प्ट का अनुमान लगाता है, मार्जिन लागू करता है, और आपके द्वारा सेट करने की योजना बनाए गए max_tokens के आधार पर सबसे खराब स्थिति की लागत लौटाता है।
import math
INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000
def plan(messages, max_tokens, margin=1.2):
chars = sum(len(m["content"]) for m in messages)
prompt = math.ceil(chars / 4 * margin)
if prompt + max_tokens > WINDOW:
raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
return prompt, worst
messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800)) # (3600, 0.00094)पिछले 12,000-अक्षरों वाले प्रॉम्प्ट को max_tokens=800 के साथ दें और आपको इनपुट के लिए 3,600 टोकन और सबसे खराब स्थिति में 3,600 / 1,000,000 x $0.15 + 800 / 1,000,000 x $0.50 = $0.00054 + $0.0004 = $0.00094 मिलता है। एक सेंट के दसवें हिस्से से भी कम, छत पहले से ज्ञात है।
एक चैट अनुरोध का चरण-दर-चरण अनुमान
एक सामान्य चैट कॉल लें और नियम के साथ इसे चरण-दर-चरण देखें। सिस्टम प्रॉम्प्ट 800 अक्षर का है। हिस्ट्री में छह पिछले संदेश हैं जो औसतन 600 अक्षर के हैं, जो 3,600 है। नया उपयोगकर्ता संदेश 400 अक्षर का है।
- कुल अक्षर: 800 + 3,600 + 400 = 4,800।
- कच्चा अनुमान: 4,800 / 4 = 1,200 टोकन।
- 20% की मार्जिन के साथ: 1,200 x 1.2 = 1,440 टोकन।
- जवाब के लिए
max_tokensको 500 सेट करें। - खराब-से-खराब लागत: 1,440 / 1,000,000 x $0.15 = $0.000216, और 500 / 1,000,000 x $0.50 = $0.00025, तो $0.000466.
विंडो चेक यहाँ नगण्य है, 1,440 + 500, 100,000 से कहीं नीचे है। वही विधि बैच जॉब्स पर स्केल करती है। 6,000 अक्षर के 2,000 दस्तावेज़ों के लिए, एक दस्तावेज़ 1,500 टोकन का होता है, या मार्जिन के साथ 1,800। यह 3,600,000 इनपुट टोकन है, जिसकी कीमत $0.54 है। प्रत्येक के लिए 200 आउटपुट टोकन की कैप के साथ, आप 400,000 टोकन जोड़ते हैं, जिसकी कीमत $0.20 है, पूरे बैच के लिए एक छत $0.74 है। आप पहले अनुरोध के आपके मशीन से बाहर निकलने से पहले अधिकतम जानते हैं।
जब अंदाजे का नियम सबसे कमजोर होता है
चार-अक्षर का नियम अंग्रेजी प्रोस पर बनाया गया है। अन्य भाषाओं का टेक्स्ट, स्रोत कोड, टेबल, लंबी संख्याएं और इमोजी छोटे-छोटे टुकड़ों में बंट जाते हैं, इसलिए सही गणना अनुमान से ऊपर आती है। इन इनपुट के लिए, अपनी पहली पास पर मार्जिन को 30 या 40 प्रतिशत तक बढ़ाएं, फिर अपने स्वयं के लॉग किए गए उपयोग डेटा से मापी गई अनुपात के साथ अनुमान को बदल दें।
100,000-टोकन विंडो के अंदर रहना
विंडो प्रॉम्प्ट और कंप्लीशन दोनों के लिए साझा होती है। इससे जाँच एक योग बन जाती है, न कि एकल तुलना: अनुमानित प्रॉम्प्ट और आपकी अनुमति दी गई प्रतिक्रिया का योग 100,000 या उससे कम होना चाहिए।
एक उदाहरण। आपके पास विश्लेषण के लिए 300,000-अक्षरों की फ़ाइल है।
- अनुमान: 300,000 / 4 = 75,000 टोकन।
- 20% मार्जिन के साथ: 90,000 टोकन।
- प्रतिक्रिया के लिए बची जगह: 100,000 - 90,000 = 10,000 टोकन। यह एक लंबे सारांश के लिए पर्याप्त है, इसलिए यह फिट बैठता है।
अब 360,000-अक्षरों की फ़ाइल के लिए प्रयास करें। कच्चा अनुमान 90,000 टोकन है, और मार्जिन के साथ यह 108,000 हो जाता है, जो उत्तर के लिए जगह छोड़ने से पहले ही सीमा से अधिक है। आपको फ़ाइल को विभाजित करना होगा, इसे भागों में भेजना होगा, या प्रत्येक भाग का सारांश देना होगा और सारांशों को जोड़ना होगा।
चैट के लिए भी नियम याद रखें। क्योंकि इतिहास प्रत्येक टर्न पर फिर से भेजा जाता है, एक बातचीत जो कुछ सौ टोकन के साथ शुरू हुई थी, वह सीमा की ओर बढ़ सकती है। योग सीमा के करीब पहुँचने से पहले पुराने टर्न को काटें, या उन्हें एक छोटे सारांश से बदलें।
फिट होने के लिए इतिहास को काटना
जब योग अधिक हो जाए, तो सबसे पुराने टर्न पहले हटा दें और सिस्टम प्रॉम्प्ट बनाए रखें। नवीनतम संदेश से पीछे की ओर बढ़ें, प्रत्येक को चलते-चलते अक्षर कुल में जोड़ें, और रुकें जब अनुमान और आपकी प्रतिक्रिया की सीमा आपकी द्वारा निर्धारित सीमा तक पहुँच जाए। कई टीमें 100,000 से काफी नीचे एक कार्य सीमा चुनती हैं, जैसे कि 30,000 टोकन, क्योंकि छोटे प्रॉम्प्ट प्रोसेस करने में तेज़ होते हैं और भेजने में सस्ते पड़ते हैं। हटाए गए टर्न का एक छोटा सारांश, एक बार लिखा गया और इतिहास के शीर्ष पर रखा गया, बातचीत की धारा को बनाए रखता है बिना हर पुराने शब्द के लिए फिर से भुगतान किए।
प्रतिक्रिया पर छत लगाना
आउटपुट टोकन की लागत $0.50 प्रति 1M है, जो $0.15 इनपुट दर से थोड़ी अधिक है, और आप प्रतिक्रिया की लंबाई को पहले से नहीं जान सकते। आप जो कर सकते हैं, वह max_tokens सेट करना है। मॉडल सीमा तक पहुँचने पर रुक जाता है, इसलिए बिल का आउटपुट हिस्सा उस संख्या के टोकन से अधिक कभी नहीं हो सकता।
कार्य से सीमा चुनें। वर्गीकरण या हाँ/नहीं जाँच के लिए 10 से 50 टोकन की आवश्यकता होती है। एक पैराग्राफ उत्तर के लिए शायद 300 की आवश्यकता होती है। एक कहानी के दृश्य के लिए 2,000 की आवश्यकता हो सकती है। यदि आप पैरामीटर छोड़ देते हैं, तो कंप्लीशन विंडो के शेष हिस्से का उपयोग करने के लिए स्वतंत्र होती है, जो लंबे लेखन के लिए ठीक है लेकिन छोटे उत्तरों के लिए व्यर्थ है।
एक सावधानी: यदि सीमा बहुत छोटी है, तो प्रतिक्रिया आधे वाक्य में कट सकती है। प्रतिक्रिया में finish_reason देखें। यदि यह बताता है कि आउटपुट लंबाई द्वारा ट्रंकेट किया गया था, तो सीमा बढ़ाएं या मॉडल से छोटा उत्तर माँगें।
अनुमान की जाँच वास्तविक गणना से करें
प्रत्येक कॉल के बाद, प्रतिक्रिया आपको इसके usage ब्लॉक में वास्तविक प्रॉम्प्ट और कंप्लीशन टोकन गणना देती है। स्ट्रीम की गई प्रतिक्रियाएँ स्ट्रीम के अंत में उपयोग की रिपोर्ट करती हैं। इनकी लॉग अपने अनुमान के बगल में एक सप्ताह के लिए करें और अनुपात देखें।
curl -i https://api.llmtokenprices.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"max_tokens": 100,
"messages": [{"role": "user", "content": "Say hello in five words."}]
}'-i फ्लैग प्रतिक्रिया हेडर प्रिंट करता है, जिसमें X-Balance-USD भी शामिल है। कॉल्स के एक बैच से पहले और बाद में संतुलन की तुलना करें और यह उपयोग संख्याओं से गणना की गई लागत से मेल खाना चाहिए।
यदि आपके अनुमान लगातार कम चलते हैं, जैसे कि 15% से, तो मार्जिन बढ़ाएं। अंग्रेज़ी के अलावा अन्य भाषाओं और कोड-भारी प्रॉम्प्ट को आमतौर पर एक बड़े मार्जिन की आवश्यकता होती है। वास्तविक आंकड़े आपको एक बार ट्यून करने और चिंता करना बंद करने देते हैं।
आगे कहाँ जाएँ
एक बार जब आप एक अनुरोध का आकार दे सकते हैं, तो अगला कदम इसे बजट में बदलना है। मूल्य निर्धारण पृष्ठ दरों और टॉप-अप बोनस की सूची देता है, और क्विकस्टार्ट कई भाषाओं में अनुरोध प्रारूप दिखाता है। यदि आपने अभी तक कोई कॉल नहीं की है, तो API कुंजी पृष्ठ पर एक कुंजी प्राप्त करें; एक-क्लिक $0.50 ट्रायल क्रेडिट वास्तविकता के खिलाफ अपने पहले एक दर्जन अनुमान चलाने के लिए पर्याप्त है।
