Qwen api: Veelgemaakte fouten en hoe ze te vermijden

1. Het contextvenster verkeerd begrijpen

Het contextvenster definieert de totale ruimte beschikbaar voor zowel uw invoerprompt als het antwoord van het model. Veel ontwikkelaars gaan er ten onrechte van uit dat de limiet alleen voor de invoer geldt, maar het venster omvat beide. Een limiet van 100.000 tokens betekent bijvoorbeeld dat u de verwachte outputgrootte moet aftrekken van uw beschikbare invoerruimte. Als u een prompt van 90.000 tokens verstuurt en om een antwoord van 20.000 tokens vraagt, zal het verzoek falen of worden afgekapt.

Deze beperking is kritiek bij het verwerken van grote documenten of lange conversatiegeschiedenissen. Je moet de resterende ruimte dynamisch berekenen. Onze API handhaaft een gecombineerde limiet van 100,000 tokens voor prompt en completion. Reserveer altijd minimaal 2,048 tokens voor de standaardoutput om grensfouten te vermijden.

2. Negeer Tokenlimieten in Output

Elke API-aanvraag heeft een maximale uitvoerlengte. Als je geen limiet opgeeft, gebruikt het model standaard 2.048 tokens. Een zeer lange prompt versturen zonder een limiet in te stellen, max_tokens kan leiden tot onverwachte afkapping. Het model stopt met genereren zodra het de limiet bereikt, waardoor je antwoord onvolledig blijft.

Dit gedrag is consistent bij de meeste LLM's, inclusief ongecensureerde varianten. Je moet expliciet de max_tokens parameter om de uitvoerlengte te bepalen. Als je bijvoorbeeld een essay van 10.000 tokens nodig hebt, moet je max_tokens=10000. Als je dit niet doet, verbruik je tokens voor korte outputs en is een tweede aanroep nodig om door te gaan.

• Instellen max_tokens expliciet voor lange antwoorden.
• Standaard output is 2.048 tokens als niet gespecificeerd.
• Uitvoertokens tellen mee voor je totale contextvenster.

3. Verwarring tussen Abliterated en Standaard Qwen

Abliteratede modellen zijn aangepast om weerlagtriggers te verwijderen, maar ze blijven Qwen-basisarchitecturen. Ze krijgen geen nieuwe mogelijkheden of kennis. Het primaire verschil zit in het gedrag: abliteratede modellen beantwoorden controversiële of volwassen onderwerpen zonder aarzeling. Standaard Qwen-modellen kunnen weigeren of generieke antwoorden geven op dergelijke onderwerpen.

Dit onderscheid is belangrijk voor rollenspel en creatief schrijven. Als je een model nodig hebt dat met elk onderwerp omgaat, gebruik dan een abliterated variant. De onderliggende redenering en logica blijven echter hetzelfde. Je kunt niet verwachten dat een abliterated model slimmer of sneller is. Het zegt gewoon niet nee. Controleer de modelkaart voor specifieke versiedetails.

4. Uitgaan van standaard OpenAI-parameters die identiek werken

OpenAI-compatibele API's accepteren standaard parameters zoals temperature en top_p. Het effect van deze parameters kan echter variëren tussen modellen. Een temperatuur van 0,7 in het ene model kan een ander creatieniveau opleveren in een ander model. Ongefilterde modellen reageren vaak beter op hogere temperaturen voor roleplay.

Experimenteer met parameters om het juiste evenwicht te vinden. Gebruik temperature voor creativiteit en top_p voor diversiteit. Onze API ondersteunt standaardparameters. Pas ze aan op basis van je use case. Gebruik bijvoorbeeld temperature=0.2 voor feitelijke antwoorden en temperature=0.9 voor creatief schrijven.

5. Over het parseren van streaming-responsen

Streaming responses leveren tokens zodra ze worden gegenereerd. Dit verbetert de gebruikerservaring, maar vereist zorgvuldig parseren. Je moet de laatste chunk verwerken om tokengebruiksgegevens te krijgen. Als je alleen content-tokens verwerkt, mis je de kostencijfers.

Onze API verzendt usage data in de laatste chunk van de stream. Je moet deze chunk parseren om je token verbruik bij te houden. Negeer de usage data in intermediate chunks. Deze aanpak zorgt voor accurate facturatie en monitoring. Streaming is essentieel voor real-time applicaties.

6. Verkeerde interpretatie van 'Refusal'-gedrag

Abliterated modellen weigeren zelden, maar zijn niet immuun voor beperkingen. Ze kunnen nog steeds weigeren als de invoer de tokenlimiet overschrijdt of ongeldige JSON bevat. Ze weigeren ook seksuele inhoud met minderjarigen, omdat dit een harde limiet is. Deze weigering is gebaseerd op het contentbeleid, niet op het modelvermogen.

Begrijp het verschil tussen een refusal en een fout. Een refusal betekent dat het model heeft gekozen niet te antwoorden. Een fout betekent dat het verzoek onjuist was. Controleer de responsstatuscode om het onderscheid te maken. Onze API handhaaft een harde limiet voor seksuele inhoud met minderjarigen. Alle andere onderwerpen zijn toegestaan.

7. Niet optimaliseren voor function calling

Function calling stelt het model in staat gestructureerde data terug te geven. Dit is nuttig voor API-integraties en data-extractie. Echter, ge-abliterateerde modellen geven mogelijk de voorkeur aan natuurlijke taal boven strikte JSON. Dit kan leiden tot malformed JSON-responses.

Om function calling te optimaliseren, gebruik je response_format={"type": "json_object"}. Dit forceert het model om geldige JSON uit te voeren. Je kunt ook tool_choice om op te geven welke functie moet worden aangeroepen. Test je functies grondig om betrouwbaarheid te garanderen. Onze API ondersteunt volledige function calling mogelijkheden.

8. Uitgaan van onbeperkt gelijktijdige requests

API's hebben rate limits om stabiliteit te garanderen. Onze API staat 300 verzoeken per minuut per sleutel toe. Het staat ook 8 gelijktijdige verzoeken toe. Het overschrijden van deze limieten resulteert in een 429-fout. Je moet retry-logica implementeren met exponentiële backoff.

Blijf uw verbruik bij om te voorkomen dat u tegen limieten aanloopt. Gebruik meerdere API-sleutels als u een hogere concurrency nodig heeft. Elke sleutel heeft zijn eigen limieten. Deze aanpak schaalt uw applicatie effectief. Plan uw verzoekvolume op basis van deze beperkingen.

9. Vergeten de tokenkosten nauwkeurig te controleren

De tokenprijzen zijn gebaseerd op input- en outputtokens. Invoertokens kosten $0.15 per 1M tokens. Uitvoertokens kosten $0.50 per 1M tokens. Uitvoertokens zijn duurder. Lange responsen verhogen de kosten aanzienlijk.

Volg je tokengebruik om je budget te beheren. Gebruik de gebruiksgegevens van het laatste streaming chunk. Vooruitbetaald krediet wordt berekend op basis van echt gebruik. Fouten zijn gratis. Dit prijsmodel is transparant en eerlijk. Monitor je gebruik regelmatig om onverwachte kosten te vermijden.