क्वीन एपीआई: सामान्य गलतियां और उन्हें कैसे टालें

1. कॉन्टेक्स्ट विंडो का गलत फहम

संदर्भ विंडो (context window) आपके इनपुट प्रॉम्प्ट और मॉडल के उत्तर दोनों के लिए उपलब्ध कुल स्थान को परिभाषित करती है। कई डेवलपर्स यह मानते हैं कि सीमा केवल इनपुट पर लागू होती है, लेकिन विंडो दोनों को शामिल करती है। उदाहरण के लिए, 100,000-टोकन की सीमा का मतलब है कि आपको अपनी उपलब्ध इनपुट स्पेस से अपेक्षित आउटपुट साइज को घटाना होगा। यदि आप 90,000-टोकन का प्रॉम्प्ट भेजते हैं और 20,000-टोकन का रिस्पांस मांगते हैं, तो रिक्वेस्ट फेल हो जाएगी या ट्रंक हो जाएगी।

यह बाधा बड़े दस्तावेज़ों या लंबी बातचीत के इतिहास को प्रोसेस करते समय महत्वपूर्ण है। आपको शेष स्थान को गतिशील रूप से गणना करनी होगी। हमारी API प्रॉम्प्ट और कंप्लीशन के लिए 100,000 टोकन की संयुक्त सीमा लागू करती है। बॉउंडरी त्रुटियों से बचने के लिए हमेशा डिफ़ॉल्ट आउटपुट के लिए कम से कम 2,048 टोकन आरक्षित रखें।

2. आउटपुट में टोकन सीमाओं को अनदेखा करना

प्रत्येक API अनुरोध की एक अधिकतम आउटपुट लंबाई होती है। यदि आप कोई सीमा निर्दिष्ट नहीं करते हैं, तो मॉडल 2,048 टोकन को डिफ़ॉल्ट मान लेता है। एक बहुत लंबे प्रॉम्प्ट को सेटिंग्स के बिना भेजना max_tokens अनपेक्षित ट्रंकेशन का कारण बन सकता है। मॉडल सीमा तक पहुंचने पर जनरेशन बंद कर देता है, जिससे आपका उत्तर अधूरा रह जाता है।

यह व्यवस्था अधिकांश LLMs, включая uncensored variants, के लिए सामान्य है। आपको स्पष्ट रूप से सेट करना होगा max_tokens आउटपुट लंबाई को नियंत्रित करने के लिए पैरामीटर। उदाहरण के लिए, यदि आपको एक 10,000-टोकन का निबंध चाहिए, तो आपको max_tokens=10000. ऐसा न करने से टोकन छोटे आउटपुट पर बर्बाद होते हैं और जारी रखने के लिए एक दूसरी कॉल की आवश्यकता होती है।

• सेट करें max_tokens लंबे प्रतिक्रियाओं के लिए स्पष्ट रूप से।
• अन्यथा निर्दिष्ट न होने पर आउटपुट डिफ़ॉल्ट रूप से 2,048 टोकन होता है।
• आउटपुट टोकन आपकी कुल संदर्भ विंडो के खिलाफ गिनते हैं।

3. एबलिटेरेटेड (Abliterated) को स्टैंडर्ड क्वेन (Qwen) से भ्रमित करना

एब्लिरेटेड मॉडल्स को संशोधित किया गया है ताकि रिफ्यूज़ल ट्रिगर्स हटाए जा सकें, लेकिन वे बेस Qwen आर्किटेक्चर ही रहते हैं। उनमें नई क्षमताएं या ज्ञान नहीं जुड़ता है। मुख्य अंतर व्यवहार में है: एब्लिरेटेड मॉडल्स विवादास्पद या वयस्क विषयों पर बिना हिचकिचाहट के उत्तर देते हैं। मानक Qwen मॉडल्स ऐसे विषयों पर रिफ्यूज कर सकते हैं या सामान्य उत्तर दे सकते हैं।

यह अंतर रोलप्ले और रचनात्मक लेखन के लिए महत्वपूर्ण है। यदि आपको एक मॉडल की आवश्यकता है जो किसी भी विषय पर बातचीत करता है, तो एक abliterated वेरिएंट का उपयोग करें। हालाँकि, अंतर्निहित तर्क और तर्कशक्ति समान रहती है। आप एक abliterated मॉडल से अधिक स्मार्ट या तेज़ होने की उम्मीद नहीं कर सकते। यह बस 'नहीं' नहीं कहता है। विशिष्ट संस्करण विवरण के लिए मॉडल कार्ड जांचें।

4. मान लें कि स्टैंडर्ड OpenAI पैरामीटर समान रूप से काम करते हैं

OpenAI-कम्पैटिबल APIs स्टैंडर्ड पैरामीटर्स जैसे स्वीकार करती हैं temperature और top_p. हालांकि, इन पैरामीटरों का प्रभाव मॉडल के बीच भिन्न हो सकता है। एक मॉडल में 0.7 का तापमान दूसरे में अलग-अलग रचनात्मकता स्तर उत्पन्न कर सकता है। अनकैप्ड मॉडल अक्सर रोलप्ले के लिए उच्च तापमान के बेहतर प्रतिक्रिया देते हैं।

सही संतुलन खोजने के लिए पैरामीटर्स के साथ प्रयोग करें। उपयोग temperature रचनात्मकता और top_p विविधता के लिए। हमारी API मानक पैरामीटरों का समर्थन करती है। उन्हें अपने उपयोग मामले के आधार पर समायोजित करें। उदाहरण के लिए, उपयोग करें temperature=0.2 तथ्यात्मक प्रतिक्रियाओं के लिए और temperature=0.9 रचनात्मक लेखन के लिए।

5. स्ट्रीमिंग रिस्पॉन्स पार्सिंग को नज़रअंदाज़ करना

स्ट्रीमिंग रिस्पॉन्स टोकन को जनरेट होते ही डिलीवर करते हैं। इससे यूजर एक्सपीरियंस में सुधार होता है लेकिन सावधानीपूर्वक पार्सिंग की आवश्यकता होती है। आपको टोकन यूसेज डेटा प्राप्त करने के लिए अंतिम चंक को हैंडल करना चाहिए। यदि आप केवल कंटेंट टोकन प्रोसेस करते हैं, तो आप कॉस्ट मेट्रिक्स मिस कर देते हैं।

हमारा API स्ट्रीम के अंतिम चंक में उपयोग डेटा भेजता है। आपको अपने टोकन खपत को ट्रैक करने के लिए इस चंक को पार्स करना होगा। मध्यवर्ती चंक में उपयोग डेटा को अनदेखा करें। यह दृष्टिकोण सटीक बिलिंग और निगरानी सुनिश्चित करता है। स्ट्रीमिंग रियल-टाइम एप्लिकेशनओं के लिए आवश्यक है।

6. 'रिफ्यूज़ल' व्यवहार को गलत समझना

एब्लिरेटेड मॉडल्स दुर्लभ रूप से अस्वीकार करते हैं, लेकिन वे बाधाओं से परे नहीं हैं। यदि इनपुट टोकन सीमा से अधिक हो जाए या अमान्य JSON हो, तो वे अभी भी अस्वीकार कर सकते हैं। वे किशोरों के साथ यौन सामग्री को भी अस्वीकार करते हैं, क्योंकि यह एक कठोर सीमा है। यह अस्वीकार सामग्री नीति पर आधारित है, न कि मॉडल क्षमता पर।

अस्वीकृति और त्रुटि के बीच अंतर को समझें। अस्वीकृति का अर्थ है कि मॉडल ने उत्तर देने से इनकार कर दिया। त्रुटि का अर्थ है कि अनुरोध खराब था। दो के बीच अंतर करने के लिए प्रतिक्रिया स्टेटस कोड की जांच करें। हमारी API किशोरों की यौन सामग्री पर एक कठोर सीमा लागू करती है। अन्य सभी विषय अनुमत हैं।

7. फंक्शन कॉलिंग के लिए अनुकूलित न करना

फंक्शन कॉलिंग मॉडल को संरचित डेटा लौटाने की अनुमति देती है। यह API इंटीग्रेशन और डेटा एक्सट्रैक्शन के लिए उपयोगी है। हालांकि, एबलिटेरेटेड मॉडल्स कठोर JSON के बजाय प्राकृतिक भाषा को प्राथमिकता दे सकते हैं। इससे खराब JSON प्रतिक्रियाएं हो सकती हैं।

फ़ंक्शन कॉलिंग को अनुकूलित करने के लिए, response_format={"type": "json_object"}. यह मॉडल को वैध JSON आउटपुट करने के लिए मजबूर करता है। आप tool_choice किस फंक्शन को कॉल करना है यह निर्दिष्ट करने के लिए। अपने फंक्शंस को विश्वसनीयता सुनिश्चित करने के लिए अच्छी तरह से टेस्ट करें। हमारी API पूर्ण फंक्शन कॉलिंग क्षमताओं का समर्थन करती है।

8. असीमित कन्करेंट रिक्वेस्ट का अनुमान लगाना

APIs स्थिरता सुनिश्चित करने के लिए रेट लिमिट्स प्रदान करते हैं। हमारी API प्रति कुंजी प्रति मिनट 300 अनुरोधों की अनुमति देती है। यह 8 कन्करेंट अनुरोधों की भी अनुमति देती है। इन सीमाओं को पार करने से 429 त्रुटि होती है। आपको एक्सपोनेंशियल बैकऑफ के साथ रेट्री लॉजिक लागू करना चाहिए।

सीमाओं को पार करने से बचने के लिए अपने उपयोग की निगरानी करें। यदि आपको उच्च संवहन की आवश्यकता है तो कई API कुंजियों का उपयोग करें। प्रत्येक कुंजी की अपनी सीमाएँ होती हैं। यह दृष्टिकोण आपके अनुप्रयोग को प्रभावी रूप से स्केल करता है। इन बाधाओं के आधार पर अपने अनुरोध वॉल्यूम की योजना बनाएं।

9. टोकन लागत को सटीक रूप से चेक न करना

टोकन मूल्य निर्धारण इनपुट और आउटपुट टोकन पर आधारित है। इनपुट टोकन की लागत $0.15 प्रति 1M टोकन है। आउटपुट टोकन की लागत $0.50 प्रति 1M टोकन है। आउटपुट टोकन अधिक महंगे हैं। लंबी प्रतिक्रियाएं लागत को काफी बढ़ा सकती हैं।

अपने बजट को प्रबंधित करने के लिए अपने टोकन उपयोग को ट्रैक करें। अंतिम स्ट्रीमिंग चंक से उपयोग डेटा का उपयोग करें। प्रीपेड क्रेडिट वास्तविक उपयोग के आधार पर चार्ज किया जाता है। त्रुटियां मुफ्त हैं। यह मूल्य निर्धारण मॉडल पारदर्शी और निष्पक्ष है। अप्रत्याशित शुल्क से बचने के लिए नियमित रूप से अपने उपयोग की निगरानी करें।