VI ▾

Cách tính token trong yêu cầu LLM trước khi gửi

Đây là cách tính token trong yêu cầu llm trước khi gửi: chia số ký tự cho bốn, thêm biên độ và giới hạn phản hồi bằng max_tokens. API sau đó báo cáo các số chính xác, vì vậy bạn có thể kiểm tra dự đoán của mình.

Cập nhật

Thước đo một dải giấy chia thành các đoạn nhỏ nhiều màu sắc dưới kính lúp

Không cần thẻ. Sau khi đăng ký, nhận $0,50 tín dụng dùng thử miễn phí bằng một cú nhấp chuột (một lần mỗi người).

Lấy khóa API

Điểm chính

  • Đối với văn bản tiếng Anh, số ký tự chia cho bốn cho ra ước lượng token hữu ích. Thêm 20% làm biên độ an toàn.
  • Đếm mọi thứ bạn gửi: prompt hệ thống, toàn bộ lịch sử trò chuyện, tài liệu và định nghĩa công cụ.
  • Prompt cộng với phần hoàn thành phải vừa trong cửa sổ ngữ cảnh 100.000 token, vì vậy hãy kiểm tra tổng trước khi gửi.
  • Sử dụng max_tokens để đặt trần cho phía đầu ra của chi phí.

Ước lượng nhanh

Bạn muốn có một con số trước khi nhấn gửi, vì con số đó cho bạn biết liệu yêu cầu có vừa hay không và xấp xỉ chi phí là bao nhiêu. Cách tắt cho văn xuôi tiếng Anh là:

  • token xấp xỉ bằng ký tự chia cho 4, hoặc
  • token xấp xỉ bằng từ nhân với 1,33.

Do đó, một prompt 12.000 ký tự tương đương khoảng 3.000 token. Một trang 500 từ tương đương khoảng 670 token. Đây là các giá trị trung bình. Chúng thay đổi đối với các ngôn ngữ khác, mã nguồn và văn bản chứa nhiều số hoặc ký hiệu, tất cả những thứ này có xu hướng sử dụng nhiều token hơn trên mỗi ký tự so với tiếng Anh thuần túy. Hãy coi kết quả là một con số lập kế hoạch và thêm biên độ khoảng 20%.

Biên độ đó biến ước lượng thành một cận trên an toàn. Prompt 12.000 ký tự của chúng ta trở thành 3.000 x 1,2 = 3.600 token cho mục đích lập kế hoạch.

Những gì đi vào số đếm

Mọi người thường đếm thiếu vì họ chỉ đo tin nhắn người dùng cuối cùng. Mô hình thấy nhiều hơn thế, và mọi phần đều được tính phí là đầu vào. Hãy cộng tất cả những thứ này:

  1. Prompt hệ thống. Nếu bạn giữ một nhân vật dài hoặc hướng dẫn phong cách ở đó, bạn phải trả tiền cho mỗi lần gọi.
  2. Toàn bộ lịch sử hội thoại. API không nhớ các lượt trước đó. Bạn gửi lại chúng, vì vậy chúng lại được tính mỗi lần.
  3. Tài liệu và đoạn trích được truy xuất mà bạn dán vào prompt.
  4. Định nghĩa công cụ và lược đồ JSON nếu bạn sử dụng gọi hàm hoặc định dạng đầu ra có cấu trúc. Chúng đi kèm theo yêu cầu, vì vậy hãy lên kế hoạch để chúng được tính vào phần đầu vào.
  5. Chi phí định dạng nhỏ cho các vai trò tin nhắn. Nó chỉ tốn vài token mỗi tin nhắn, nhưng biên độ 20% sẽ bao phủ nó.

Ở phía đầu ra chỉ có một mục: phản hồi. Bạn không kiểm soát chính xác độ dài của nó, nhưng bạn có thể giới hạn nó, điều này dẫn chúng ta đến phần tiếp theo.

Đếm token với một hàm nhỏ

Đây là một trợ lý Python ngắn. Nó ước lượng prompt từ tất cả văn bản tin nhắn, áp dụng biên độ và trả về chi phí xấu nhất dựa trên max_tokens mà bạn dự định đặt.

import math

INPUT_PER_M = 0.15
OUTPUT_PER_M = 0.50
WINDOW = 100_000

def plan(messages, max_tokens, margin=1.2):
    chars = sum(len(m["content"]) for m in messages)
    prompt = math.ceil(chars / 4 * margin)
    if prompt + max_tokens > WINDOW:
        raise ValueError(f"too big: {prompt} + {max_tokens} > {WINDOW}")
    worst = prompt / 1_000_000 * INPUT_PER_M + max_tokens / 1_000_000 * OUTPUT_PER_M
    return prompt, worst

messages = [{"role": "user", "content": "x" * 12_000}]
print(plan(messages, max_tokens=800))   # (3600, 0.00094)

Đưa prompt 12.000 ký tự từ trước đó với max_tokens=800 và bạn sẽ nhận được 3.600 token đầu vào và trường hợp xấu nhất là 3.600 / 1.000.000 x $0,15 + 800 / 1.000.000 x $0,50 = $0,00054 + $0,0004 = $0,00094. Dưới một phần mười xu, với trần được biết trước.

Một yêu cầu trò chuyện được ước lượng từng bước

Hãy lấy một lệnh gọi trò chuyện điển hình và đi qua nó bằng quy tắc. Prompt hệ thống là 800 ký tự. Lịch sử chứa sáu tin nhắn trước đó với trung bình 600 ký tự mỗi tin nhắn, tức là 3.600. Tin nhắn người dùng mới là 400 ký tự.

  1. Tổng số ký tự: 800 + 3.600 + 400 = 4.800.
  2. Ước lượng thô: 4.800 / 4 = 1.200 token.
  3. Với biên độ 20%: 1.200 x 1,2 = 1.440 token.
  4. Đặt max_tokens là 500 cho phần phản hồi.
  5. Chi phí trường hợp xấu nhất: 1.440 / 1.000.000 x $0,15 = $0,000216, cộng 500 / 1.000.000 x $0,50 = $0,00025, vậy là $0,000466.

Kiểm tra cửa sổ rất đơn giản ở đây, 1.440 + 500 thấp hơn nhiều so với 100.000. Phương pháp tương tự áp dụng cho các tác vụ hàng loạt. Đối với 2.000 tài liệu mỗi tài liệu 6.000 ký tự, một tài liệu là 1.500 token, hoặc 1.800 với biên độ. Đó là 3.600.000 token đầu vào, trị giá $0,54. Với trần 200 token đầu ra mỗi lần, bạn thêm 400.000 token, trị giá $0,20, cho trần $0,74 cho toàn bộ lô hàng. Bạn biết mức tối đa trước khi yêu cầu đầu tiên rời khỏi máy của bạn.

Khi quy tắc kinh nghiệm yếu nhất

Quy tắc bốn ký tự được xây dựng dựa trên văn xuôi tiếng Anh. Văn bản bằng các ngôn ngữ khác, mã nguồn, bảng, số dài và emoji có xu hướng chia thành các mảnh nhỏ hơn, vì vậy số đếm thực tế cao hơn ước lượng. Đối với các đầu vào đó, hãy tăng biên độ lên 30 hoặc 40 phần trăm trong lần chạy đầu tiên, sau đó thay thế dự đoán bằng tỷ lệ đo được từ dữ liệu sử dụng đã ghi lại của chính bạn.

Giữ trong cửa sổ 100.000 token

Cửa sổ được chia sẻ bởi prompt và phần hoàn thành. Điều này khiến việc kiểm tra trở thành một tổng, không phải một phép so sánh đơn lẻ: prompt ước lượng cộng với phần phản hồi bạn cho phép phải bằng 100.000 hoặc ít hơn.

Một trường hợp thực tế. Bạn có một tệp 300.000 ký tự để phân tích.

  • Ước lượng: 300.000 / 4 = 75.000 token.
  • Với biên độ 20%: 90.000 token.
  • Khoản còn lại cho phần phản hồi: 100.000 - 90.000 = 10.000 token. Điều đó đủ cho một bản tóm tắt dài, vì vậy nó vừa.

Bây giờ hãy thử một tệp 360.000 ký tự. Ước lượng thô là 90.000 token, và với biên độ là 108.000, điều này vượt quá giới hạn trước khi bạn thậm chí chưa dành chỗ cho câu trả lời. Bạn cần chia nhỏ tệp, gửi từng phần hoặc tóm tắt từng phần và kết hợp các bản tóm tắt.

Hãy nhớ quy tắc cho cả trò chuyện. Vì lịch sử được gửi lại mỗi lượt, một cuộc trò chuyện bắt đầu với vài trăm token có thể dần tiến gần đến giới hạn. Hãy cắt ngắn các lượt cũ, hoặc thay thế chúng bằng một bản tóm tắt ngắn, trước khi tổng tiến gần đến giới hạn.

Cắt ngắn lịch sử để vừa

Khi tổng vượt quá, hãy bỏ các lượt cũ nhất trước và giữ prompt hệ thống. Đi ngược lại từ tin nhắn mới nhất, thêm từng tin nhắn vào tổng số ký tự chạy, và dừng lại khi ước lượng cộng với trần phản hồi của bạn đạt đến giới hạn bạn đặt cho chính mình. Nhiều nhóm chọn giới hạn hoạt động thấp hơn nhiều so với 100.000, chẳng hạn như 30.000 token, vì các prompt ngắn hơn nhanh hơn để xử lý và rẻ hơn để gửi. Một bản tóm tắt ngắn về các lượt bị loại bỏ, được viết một lần và giữ ở đầu lịch sử, sẽ bảo toàn mạch hội thoại mà không phải trả tiền cho mọi từ cũ một lần nữa.

Đặt trần cho phần phản hồi

Token đầu ra tốn $0,50 mỗi 1 triệu, nhiều hơn ba lần so với tỷ lệ đầu vào $0,15 và bạn không thể biết độ dài phản hồi trước. Những gì bạn có thể làm là đặt max_tokens. Mô hình sẽ dừng khi đạt đến trần, vì phía đầu ra của hóa đơn không bao giờ vượt quá số token đó.

Chọn ngưỡng từ nhiệm vụ. Một bài phân loại hoặc kiểm tra có/không cần 10 đến 50 token. Một câu trả lời dạng đoạn văn có thể cần khoảng 300 token. Một cảnh trong truyện có thể cần 2.000 token. Nếu bạn bỏ qua tham số này, phần hoàn tất có thể tự do sử dụng phần còn lại của cửa sổ ngữ cảnh, điều này ổn cho việc viết dài và lãng phí cho các câu trả lời ngắn.

Một lời cảnh báo: một trần quá nhỏ sẽ cắt ngang phản hồi giữa câu. Hãy xem finish_reason trong phản hồi. Nếu nó cho biết đầu ra bị cắt ngắn do độ dài, hãy tăng trần hoặc yêu cầu mô hình đưa ra câu trả lời ngắn hơn.

Kiểm tra ước lượng so với số đếm thực tế

Sau mỗi lần gọi, phản hồi sẽ cung cấp cho bạn số đếm token prompt và phần hoàn thành thực tế trong khối usage của nó. Các phản hồi truyền phát (streaming) báo cáo việc sử dụng ở cuối luồng. Hãy ghi lại những điều này bên cạnh ước lượng của bạn trong một tuần và xem tỷ lệ.

curl -i https://api.llmtokenprices.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "max_tokens": 100,
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

Cờ -i in ra các tiêu đề phản hồi, bao gồm X-Balance-USD. Hãy so sánh số dư trước và sau một lô lệnh gọi và nó phải khớp với chi phí tính toán từ các số liệu sử dụng.

Nếu các ước lượng của bạn thấp hơn một cách nhất quán, chẳng hạn 15%, hãy tăng biên độ. Các ngôn ngữ khác tiếng Anh và các prompt nặng về mã thường cần một biên độ lớn hơn. Các số liệu thực tế cho phép bạn tinh chỉnh một lần và ngừng lo lắng.

Đi tiếp ở đâu

Khi bạn có thể ước lượng kích thước yêu cầu, bước tiếp theo là chuyển đổi nó thành ngân sách. Trang giá cả liệt kê các mức giá và các khoản thưởng nạp tiền, và hướng dẫn nhanh hiển thị định dạng yêu cầu bằng nhiều ngôn ngữ. Nếu bạn chưa thực hiện yêu cầu nào, hãy lấy khóa trên trang khóa API; tín dụng dùng thử $0,50 với một lần nhấp là đủ để chạy vài chục ước lượng đầu tiên của bạn so với thực tế.

Hỏi đáp

Tôi có thể đếm token chính xác trước khi gửi yêu cầu không?

Không đáng tin cậy với một công cụ chung chung. Mô hình có bộ tokenizer riêng, vì vậy các số đếm từ bộ tokenizer khác chỉ là ước lượng. Các con số chính xác sẽ được trả về trong dữ liệu sử dụng sau khi yêu cầu kết thúc.

Ước lượng nhanh nhất cho văn bản tiếng Anh là gì?

Chia số ký tự cho bốn. Với từ, nhân với 1,33. Cả hai đều xấp xỉ và hoạt động tốt nhất với văn bản thông thường.

Các định nghĩa công cụ và lược đồ JSON có được tính là đầu vào không?

Chúng là một phần của yêu cầu bạn gửi, nên hãy tính chúng là token đầu vào. Đo một yêu cầu có và không có chúng để thấy sự khác biệt.

Làm thế nào để ngăn một yêu cầu tốn quá nhiều?

Đặt max_tokens để giới hạn phản hồi, và cắt ngắn lịch sử chat trước khi gửi. Cùng nhau, chúng đặt giới hạn trên cho cả hai phía của hóa đơn.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API