TH ▾

วิธีคำนวณโทเคนในคำขอ LLM ก่อนส่ง

นี่คือวิธีคำนวณโทเคนในคำขอ llm ก่อนส่ง: หารจำนวนตัวอักษรด้วยสี่ เพิ่มขอบเขต และจำกัดการตอบกลับด้วย max_tokens จากนั้น API จะรายงานจำนวนที่แท้จริง ดังนั้นคุณจึงสามารถตรวจสอบการประมาณการของคุณได้

อัปเดต

ไม้บรรทัดวัดริบบิ้นกระดาษที่แบ่งเป็นชิ้นส่วนเล็กๆ สีสันสดใสใต้แว่นขยาย

ไม่ต้องใช้บัตร หลังสมัคร ให้รับเครดิตทดลองใช้ฟรี $0.50 ด้วยคลิกเดียว (หนึ่งครั้งต่อคน)

รับคีย์ API

ประเด็นสำคัญ

  • สำหรับข้อความภาษาอังกฤษ การหารจำนวนตัวอักษรด้วยสี่ให้การประมาณการโทเคนที่ใช้งานได้ เพิ่ม 20% เป็นขอบเขตความปลอดภัย
  • นับทุกอย่างที่คุณส่ง: ระบบพรอมต์, ประวัติแชตเต็มรูปแบบ, เอกสาร และคำจำกัดความฟังก์ชัน
  • พรอมต์บวกคอมพลีชันต้องพอดีกับหน้าต่าง 100,000 โทเคน ดังนั้นจงตรวจสอบผลรวมก่อนส่ง
  • ใช้ max_tokens เพื่อสร้างเพดานสำหรับด้านเอาต์พุตของค่าใช้จ่าย

การประมาณการแบบรวดเร็ว

คุณต้องการตัวเลขก่อนกดส่ง เพราะตัวเลขบอกคุณว่าคำขอพอดีหรือไม่ และประมาณการค่าใช้จ่ายเท่าใด วิธีลัดสำหรับงานเขียนภาษาอังกฤษคือ:

  • โทเคนมีค่าประมาณเท่ากับตัวอักษรหารด้วย 4 หรือ
  • โทเคนคิดเป็นคำคูณด้วย 1.33

ดังนั้น พรอมต์ความยาว 12,000 ตัวอักษรจึงมีค่าประมาณ 3,000 โทเคน หน้าเว็บขนาด 500 คำมีค่าประมาณ 670 โทเคน ค่าเหล่านี้เป็นค่าเฉลี่ย อาจคลาดเคลื่อนสำหรับภาษาอื่น โค้ดแหล่งที่มา และข้อความที่มีตัวเลขหรือสัญลักษณ์ ซึ่งมักใช้โทเคนต่อตัวอักษรมากกว่าภาษาอังกฤษทั่วไป ให้ใช้ผลลัพธ์นี้เป็นตัวเลขประมาณการและเพิ่มส่วนเผื่อประมาณ 20%

ส่วนเผื่อนี้ทำให้การประมาณการกลายเป็นขอบเขตบนที่ปลอดภัย พรอมต์ความยาว 12,000 ตัวอักษรจึงกลายเป็น 3,000 x 1.2 = 3,600 โทเคน สำหรับการวางแผน

สิ่งที่รวมในการนับ

ผู้คนมักนับจำนวนน้อยเกินไปเพราะวัดเฉพาะข้อความผู้ใช้ล่าสุดเท่านั้น โมเดลเห็นมากกว่านั้น และทุกส่วนจะถูกคิดเป็นอินพุต ให้รวมสิ่งเหล่านี้ทั้งหมด:

  1. ระบบพรอมต์ หากคุณเก็บบุคลิกภาพหรือคู่มือสไตล์ไว้ที่นั่น ค่าใช้จ่ายจะถูกคิดในทุกการเรียกใช้
  2. ประวัติการสนทนาทั้งหมด API ไม่จำการสนทนาก่อนหน้านี้ คุณต้องส่งใหม่ ดังนั้นจึงนับอีกครั้งทุกครั้ง
  3. เอกสารและส่วนที่ดึงมา ที่คุณวางลงในพรอมต์
  4. นิยามเครื่องมือและสคีมา JSON หากใช้การเรียกใช้ฟังก์ชันหรือรูปแบบผลลัพธ์ที่มีโครงสร้าง พวกมันจะเดินทางไปกับคำขอ ดังนั้นจึงควรวางแผนให้รวมเป็นข้อมูลนำเข้า
  5. ภาระการจัดรูปแบบเล็กน้อย สำหรับบทบาทข้อความ มีเพียงไม่กี่โทเคนต่อข้อความ แต่ขอบเขต 20% ครอบคลุมสิ่งนี้

ทางด้านเอาต์พุตมีรายการเดียวคือคำตอบ คุณไม่สามารถควบคุมความยาวได้พอดี แต่คุณสามารถจำกัดได้ ซึ่งนำไปสู่ส่วนถัดไป

การนับโทเคนด้วยฟังก์ชันขนาดเล็ก

นี่คือตัวช่วย Python สั้นๆ มันประมาณการพรอมต์จากข้อความทั้งหมด ใช้ขอบเขต และคืนค่าต้นทุนกรณีเลวร้ายที่สุดตาม max_tokens ที่คุณวางแผนจะตั้งค่า

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

ป้อนพรอมต์ความยาว 12,000 ตัวอักษรจากก่อนหน้านี้ด้วย max_tokens=800 คุณจะได้รับอินพุต 3,600 โทเคน และกรณีเลวร้ายที่สุดคือ 3,600 / 1,000,000 x $0.15 + 800 / 1,000,000 x $0.50 = $0.00054 + $0.0004 = $0.00094 ต่ำกว่าหนึ่งในสิบของเซ็นต์ โดยมีเพดานที่ทราบล่วงหน้า

การประมาณการคำขอแชททีละขั้นตอน

ลองใช้การเรียกใช้แชททั่วไปและเดินผ่านไปตามกฎ ระบบพรอมต์มีความยาว 800 ตัวอักษร ประวัติมีข้อความก่อนหน้าหกข้อความโดยเฉลี่ยข้อความละ 600 ตัวอักษร ซึ่งคือ 3,600 ข้อความผู้ใช้ใหม่มีความยาว 400 ตัวอักษร

  1. ตัวอักษรทั้งหมด: 800 + 3,600 + 400 = 4,800
  2. การประมาณการดิบ: 4,800 / 4 = 1,200 โทเคน
  3. พร้อมส่วนเผื่อ 20%: 1,200 x 1.2 = 1,440 โทเคน
  4. ตั้งค่า max_tokens เป็น 500 สำหรับคำตอบ
  5. ต้นทุนกรณีเลวร้ายที่สุด: 1,440 / 1,000,000 x $0.15 = $0.000216 บวก 500 / 1,000,000 x $0.50 = $0.00025 ดังนั้น $0.000466

การตรวจสอบหน้าต่างเป็นเรื่องง่ายที่นี่ 1,440 + 500 น้อยกว่า 100,000 มาก วิธีเดียวกันนี้ปรับขนาดไปยังงานแบทช์ได้ สำหรับเอกสาร 2,000 รายการที่มีความยาว 6,000 ตัวอักษรต่อรายการ เอกสารหนึ่งฉบับมีค่า 1,500 โทเคน หรือ 1,800 เมื่อรวมส่วนเผื่อ นั่นคือ 3,600,000 โทเคนอินพุต ซึ่งมีมูลค่า $0.54 เมื่อจำกัดเอาต์พุตที่ 200 โทเคนต่อรายการ คุณจะเพิ่ม 400,000 โทเคน ซึ่งมีมูลค่า $0.20 สำหรับเพดาน $0.74 สำหรับทั้งแบทช์ คุณทราบค่าสูงสุดก่อนที่คำขอแรกจะออกจากเครื่องของคุณ

เมื่อกฎการประมาณการใช้ได้น้อยที่สุด

กฎสี่ตัวอักษรสร้างขึ้นจากภาษาโปรส์ภาษาอังกฤษ ข้อความในภาษาอื่น โค้ดแหล่งที่มา ตาราง ตัวเลขยาว และอิโมจิมีแนวโน้มที่จะแยกออกเป็นชิ้นที่เล็กลง ดังนั้นจำนวนจริงจึงสูงกว่าการประมาณการ สำหรับอินพุตเหล่านี้ ให้เพิ่มส่วนเผื่อเป็น 30 หรือ 40 เปอร์เซ็นต์ในการลองครั้งแรก จากนั้นแทนที่การคาดเดาด้วยอัตราที่วัดจากข้อมูลการใช้งานที่บันทึกไว้ของคุณเอง

การอยู่ในหน้าต่าง 100,000 โทเคน

หน้าต่างบริบทนี้ถูกใช้ร่วมกันโดยพรอมต์และการสร้างผลลัพธ์ ทำให้การตรวจสอบเป็นการรวมค่า ไม่ใช่การเปรียบเทียบค่าเดียว: ผลรวมของพรอมต์ที่ประมาณการและการตอบกลับที่คุณอนุญาตต้องไม่เกิน 100,000

ตัวอย่างที่คำนวณแล้ว: คุณมีไฟล์ขนาด 300,000 ตัวอักษรที่ต้องการวิเคราะห์

  • การประมาณการ: 300,000 / 4 = 75,000 โทเคน
  • เมื่อรวมส่วนเผื่อ 20%: 90,000 โทเคน
  • พื้นที่เหลือสำหรับการตอบกลับ: 100,000 - 90,000 = 10,000 โทเคน ซึ่งเพียงพอสำหรับสรุปแบบยาว จึงใช้งานได้

ลองใช้ไฟล์ขนาด 360,000 ตัวอักษรดู การประมาณการแบบดิบคือ 90,000 โทเคน และเมื่อรวมส่วนเผื่อแล้วจะเป็น 108,000 ซึ่งเกินขีดจำกัดแล้ว แม้ยังไม่ได้จัดพื้นที่สำหรับการตอบกลับเลย คุณจำเป็นต้องแบ่งไฟล์ ส่งเป็นชิ้นส่วน หรือสรุปแต่ละชิ้นส่วนแล้วนำผลสรุปมารวมกัน

จำกฎนี้ไว้สำหรับการแชทด้วย เนื่องจากประวัติการสนทนาจะถูกส่งใหม่ในทุกเทิร์น การสนทนาที่เริ่มต้นด้วยเพียงไม่กี่ร้อยโทเคนอาจค่อยๆ ขยับเข้าใกล้ขีดจำกัด ให้ตัดเทิร์นเก่าออก หรือแทนที่ด้วยสรุปสั้นๆ ก่อนที่ผลรวมจะเข้าใกล้ขีดจำกัด

ตัดประวัติให้พอดี

เมื่อผลรวมเกิน ให้ตัดการสนทนาที่เก่าที่สุดออกก่อนและเก็บพรอมต์ระบบไว้ เดินย้อนจากข้อความล่าสุด เพิ่มแต่ละข้อความในผลรวมตัวอักษร และหยุดเมื่อการประมาณการบวกกับขีดจำกัดการตอบกลับของคุณถึงขีดจำกัดที่คุณตั้งไว้ ทีมจำนวนมากเลือกขีดจำกัดการทำงานที่ต่ำกว่า 100,000 เช่น 30,000 โทเคน เพราะพรอมต์ที่สั้นกว่าประมวลผลได้เร็วกว่าและส่งได้ถูกกว่า สรุปสั้นๆ ของการสนทนาที่ตัดออก เขียนครั้งเดียวและเก็บไว้ที่ด้านบนของประวัติ ช่วยรักษาการสนทนาไว้โดยไม่จ่ายสำหรับทุกคำเก่าอีกครั้ง

การกำหนดเพดานสำหรับการตอบกลับ

โทเคนสำหรับผลลัพธ์มีราคา $0.50 ต่อ 1M ซึ่งสูงกว่าอัตราอินพุต $0.15 เล็กน้อยกว่าสามเท่า และคุณไม่สามารถทราบความยาวของการตอบกลับล่วงหน้าได้ สิ่งที่คุณทำได้คือตั้งค่า max_tokens โมเดลจะหยุดทำงานเมื่อถึงเพดานนี้ ดังนั้นค่าใช้จ่ายฝั่งผลลัพธ์จะไม่เกินจำนวนโทเคนที่กำหนด

เลือกค่าเพดานจากงานที่ทำ การจำแนกประเภทหรือการตรวจสอบใช่/ไม่ใช่ต้องการเพียง 10 ถึง 50 โทเคน คำตอบแบบย่อหน้าอาจต้องการประมาณ 300 โทเคน ฉากเรื่องราวมักต้องการ 2,000 โทเคน หากคุณละพารามิเตอร์นี้ การสร้างผลลัพธ์สามารถใช้พื้นที่ที่เหลือของหน้าต่างบริบทได้อย่างอิสระ ซึ่งเหมาะสำหรับการเขียนแบบยาวแต่เป็นการสิ้นเปลืองสำหรับคำตอบสั้นๆ

ข้อควรระวังหนึ่งประการ: เพดานที่เล็กเกินไปจะทำให้การตอบขาดกลางประโยค ให้ตรวจสอบ finish_reason ในการตอบกลับ หากระบุว่าผลลัพธ์ถูกตัดเนื่องจากความยาว ให้เพิ่มค่าเพดานหรือขอให้โมเดลให้คำตอบที่สั้นลง

ตรวจสอบการประมาณการเทียบกับจำนวนจริง

หลังจากเรียกใช้แต่ละครั้ง การตอบกลับจะแสดงจำนวนโทเคนของพรอมต์และการสร้างผลลัพธ์ที่แท้จริงในบล็อก usage การตอบกลับแบบสตรีมมิงจะรายงานการใช้งานที่ท้ายสตรีม ให้บันทึกข้อมูลเหล่านี้ไว้ข้างกับการประมาณการของคุณเป็นระยะเวลาหนึ่งสัปดาห์และดูอัตราส่วน

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

แฟลก -i จะพิมพ์หัวข้อความตอบกลับ รวมถึง X-Balance-USD เปรียบเทียบยอดคงเหลือก่อนและหลังชุดการเรียกใช้ และควรตรงกับค่าใช้จ่ายที่คำนวณจากจำนวนการใช้งาน

หากการประมาณการของคุณต่ำลงอย่างต่อเนื่อง เช่น ลดลง 15% ให้เพิ่มขอบเขต ภาษาอื่นที่ไม่ใช่ภาษาอังกฤษและพรอมต์ที่มีโค้ดหนาแน่นมักต้องการขอบเขตที่ใหญ่กว่า ตัวเลขจริงช่วยให้คุณปรับได้ครั้งเดียวและหยุดกังวล

ขั้นตอนถัดไป

เมื่อคุณสามารถกำหนดขนาดคำขอได้แล้ว ขั้นตอนถัดไปคือการเปลี่ยนเป็นงบประมาณ หน้าราคา แสดงอัตราและโบนัสการเติมเงิน และ เริ่มต้นอย่างรวดเร็ว แสดงรูปแบบคำขอในหลายภาษา หากคุณยังไม่ได้ทำการเรียกใช้ ให้รับคีย์ API บน หน้าคีย์ API; เครดิตทดลองใช้ฟรี $0.50 เพียงคลิกเดียวก็เพียงพอสำหรับการรันการประมาณการครั้งแรกของคุณเพื่อเปรียบเทียบกับความเป็นจริง

ถาม-ตอบ

ฉันสามารถนับโทเคนได้แม่นยำก่อนส่งคำขอหรือไม่?

ไม่แน่นอนด้วยเครื่องมือทั่วไป โมเดลมีตัวแยกโทเคนของตัวเอง ดังนั้นจำนวนจากตัวแยกโทเคนอื่นจึงเป็นการประมาณการ ตัวเลขที่แน่นอนจะกลับมาในข้อมูลการใช้งานหลังการเรียก

การประมาณการที่เร็วที่สุดสำหรับข้อความภาษาอังกฤษคืออะไร?

หารจำนวนอักขระด้วยสี่ สำหรับคำ ให้คูณด้วย 1.33 ทั้งสองวิธีเป็นการประมาณและใช้ได้ดีกับงานเขียนทั่วไป

นิยามเครื่องมือและสคีมา JSON นับเป็นข้อมูลนำเข้าหรือไม่?

พวกมันเป็นส่วนหนึ่งของคำขอที่คุณส่ง ดังนั้นจึงควรวางแผนให้รวมเป็นโทเคนอินพุต วัดคำขอที่มีและไม่มีพวกมันเพื่อดูความแตกต่าง

ฉันจะป้องกันไม่ให้คำขอหนึ่งมีค่าใช้จ่ายสูงเกินไปได้อย่างไร?

ตั้งค่า max_tokens เพื่อจำกัดการตอบกลับ และตัดประวัติแชทออกก่อนส่ง การทำร่วมกันจะกำหนดเพดานให้กับทั้งสองด้านของบิล

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API