API Qwen: Những lỗi thường gặp và cách tránh chúng

1. Hiểu sai về cửa sổ ngữ cảnh

Cửa sổ ngữ cảnh xác định không gian tổng thể dành cho cả lời nhắc đầu vào của bạn và phản hồi của mô hình. Nhiều nhà phát triển lầm tưởng rằng giới hạn này chỉ áp dụng cho đầu vào, nhưng cửa sổ ngữ cảnh bao gồm cả hai. Ví dụ, giới hạn 100,000 token có nghĩa là bạn phải trừ kích lượng đầu ra dự kiến khỏi không gian đầu vào khả dụng. Nếu bạn gửi lời nhắc 90,000 token và yêu cầu phản hồi 20,000 token, yêu cầu sẽ thất bại hoặc bị cắt bớt.

Ràng buộc này rất quan trọng khi xử lý các tài liệu lớn hoặc lịch sử hội thoại dài. Bạn phải tính toán không gian còn lại một cách động. API của chúng tôi áp dụng giới hạn kết hợp 100,000 token cho lời nhắc và phần hoàn thành. Luôn dành ít nhất 2,048 token cho đầu ra mặc định để tránh lỗi biên.

2. Bỏ qua giới hạn token trong đầu ra

Mọi yêu cầu API đều có độ dài đầu ra tối đa. Nếu bạn không chỉ định giới hạn, mô hình sẽ mặc định là 2.048 token. Gửi một lời nhắc rất dài mà không đặt max_tokens có thể dẫn đến cắt ngang không mong đợi. Mô hình ngừng tạo khi đạt đến giới hạn, khiến phản hồi của bạn bị thiếu.

Hành vi này nhất quán trên hầu hết các LLM, bao gồm cả các biến thể không kiểm duyệt. Bạn phải đặt rõ ràng max_tokens tham số để kiểm soát độ dài đầu ra. Ví dụ, nếu bạn cần một bài luận dài 10.000 token, bạn phải đặt max_tokens=10000. Không làm như vậy sẽ lãng phí token trên các đầu ra ngắn và yêu cầu một lệnh gọi thứ hai để tiếp tục.

• Đặt max_tokens một cách rõ ràng cho các phản hồi dài.
• Đầu ra mặc định là 2.048 token nếu chưa xác định.
• Token đầu ra tính vào tổng cửa sổ ngữ cảnh của bạn.

3. Nhầm lẫn giữa Abliterated và Qwen tiêu chuẩn

Các mô hình Abliterated được sửa đổi để loại bỏ các kích hoạt từ chối, nhưng chúng vẫn giữ nguyên kiến trúc Qwen gốc. Chúng không có thêm khả năng hoặc kiến thức mới. Sự khác biệt chính nằm ở hành vi: các mô hình Ablivered trả lời các chủ đề gây tranh cãi hoặc người lớn mà không do dự. Các mô hình Qwen tiêu chuẩn có thể từ chối hoặc đưa ra câu trả lời chung chung cho các chủ đề như vậy.

Sự phân biệt này rất quan trọng cho việc đóng vai và viết sáng tạo. Nếu bạn cần một mô hình tham gia vào bất kỳ chủ đề nào, hãy sử dụng biến thể ablated. Tuy nhiên, lý luận và logic cơ bản vẫn giống nhau. Bạn không thể mong đợi một mô hình ablated thông minh hơn hoặc nhanh hơn. Nó đơn giản là không nói không. Hãy kiểm tra thẻ mô hình để biết chi tiết phiên bản cụ thể.

4. Giả sử Các tham số OpenAI tiêu chuẩn hoạt động giống hệt nhau

Các API tương thích OpenAI chấp nhận các tham số tiêu chuẩn như temperature và top_p. Tuy nhiên, tác động của các tham số này có thể khác nhau giữa các mô hình. Nhiệt độ 0.7 trong một mô hình có thể tạo ra mức độ sáng tạo khác nhau trong một mô hình khác. Các mô hình không kiểm duyệt thường phản hồi tốt hơn với nhiệt độ cao hơn cho nhập vai.

Thử nghiệm với các tham số để tìm sự cân bằng phù hợp. Sử temperature để sáng tạo và top_p cho sự đa dạng. API của chúng tôi hỗ trợ các tham số tiêu chuẩn. Điều chỉnh chúng dựa trên trường hợp sử dụng của bạn. Ví dụ, sử dụng temperature=0.2 cho các phản hồi thực tế và temperature=0.9 để viết sáng tạo.

5. Bỏ qua việc phân tích phản hồi streaming

Các phản hồi dạng stream phân phối token khi chúng được tạo. Điều này cải thiện trải nghiệm người dùng nhưng yêu cầu phân tích cẩn thận. Bạn phải xử lý phần dữ liệu cuối cùng để nhận dữ liệu sử dụng token. Nếu bạn chỉ xử lý các token nội dung, bạn sẽ bỏ lỡ các chỉ số chi phí.

API của chúng tôi gửi dữ liệu sử dụng trong chunk cuối cùng của luồng. Bạn phải phân tích chunk này để theo dõi mức tiêu thụ token của mình. Hãy bỏ qua dữ liệu sử dụng trong các chunk trung gian. Cách tiếp cận này đảm bảo tính phí và giám sát chính xác. Streaming là cần thiết cho các ứng dụng thời gian thực.

6. Diễn giải sai hành vi 'Từ chối'

Các mô hình Abliterated hiếm khi từ chối, nhưng chúng không miễn nhiễm với các ràng buộc. Chúng vẫn có thể từ chối nếu đầu vào vượt quá giới hạn token hoặc chứa JSON không hợp lệ. Chúng cũng từ chối nội dung tình dục liên quan đến trẻ vị thành niên, vì đây là giới hạn cứng. Sự từ chối này dựa trên chính sách nội dung, không phải khả năng của mô hình.

Hiểu sự khác biệt giữa lời từ chối và lỗi. Lời từ chối có nghĩa là mô hình đã chọn không trả lời. Lỗi có nghĩa là yêu cầu bị sai định dạng. Hãy kiểm tra mã trạng thái phản hồi để phân biệt giữa hai điều này. API của chúng tôi áp dụng một giới hạn cứng đối với nội dung tình dục liên quan đến trẻ vị thành niên. Tất cả các chủ đề khác đều được cho phép.

7. Không Tối Ưu Hóa Cho Gọi Hàm

Gọi hàm cho phép mô hình trả về dữ liệu có cấu trúc. Điều này hữu ích cho các tích hợp API và trích xuất dữ liệu. Tuy nhiên, các mô hình đã loại bỏ kiểm duyệt có thể ưu tiên ngôn ngữ tự nhiên hơn JSON chặt chẽ. Điều này có thể dẫn đến các phản hồi JSON bị lỗi cú pháp.

Để tối ưu hóa việc gọi hàm, hãy sử dụng response_format={"type": "json_object"}. Điều này buộc mô hình xuất ra JSON hợp lệ. Bạn cũng có thể sử dụng tool_choice để chỉ định hàm nào sẽ gọi. Kiểm tra kỹ các hàm của bạn để đảm bảo độ tin cậy. API của chúng tôi hỗ trợ đầy đủ khả năng gọi hàm.

8. Giả sử số lượng yêu cầu đồng thời không giới hạn

APIs có giới hạn tốc độ để đảm bảo tính ổn định. API của chúng tôi cho phép 300 yêu cầu mỗi phút mỗi khóa. Nó cũng cho phép 8 yêu cầu đồng thời. Vượt quá các giới hạn này sẽ dẫn đến lỗi 429. Bạn phải triển khai logic thử lại với độ trễ tăng dần theo cấp số nhân.

Theo dõi mức sử dụng để tránh chạm giới hạn. Sử dụng nhiều khóa API nếu bạn cần độ đồng thời cao hơn. Mỗi khóa có giới hạn riêng. Cách tiếp cận này giúp mở rộng ứng dụng của bạn một cách hiệu quả. Lập kế hoạch khối lượng yêu cầu dựa trên các hạn chế này.

9. Quên kiểm tra chi phí token chính xác

Giá token dựa trên token đầu vào và đầu ra. Token đầu vào có giá $0.15 cho mỗi 1M token. Token đầu ra có giá $0.50 cho mỗi 1M token. Token đầu ra đắt hơn. Các phản hồi dài làm tăng chi phí đáng kể.

Theo dõi việc sử dụng token để quản lý ngân sách của bạn. Sử dụng dữ liệu sử dụng từ chunk phát trực tiếp cuối cùng. Tín dụng trả trước được tính phí dựa trên mức sử dụng thực tế. Lỗi là miễn phí. Mô hình định giá này minh bạch và công bằng. Theo dõi mức sử dụng của bạn thường xuyên để tránh các khoản phí không mong muốn.