Qwen api: Almindelige fejl og hvordan du undgår dem

1. Misforståelse af kontekstvinduet

Kontekstvinduet definerer den samlede plads til både din input-prompt og modellens svar. Mange udviklere antager, at grænsen kun gælder for input, men vinduet inkluderer begge dele. Hvis en grænse f.eks. er på 100,000 tokens, skal du trække den forventede output-størrelse fra din tilgængelige input-plads. Hvis du sender en prompt på 90,000 tokens og beder om et svar på 20,000 tokens, vil anmodningen fejle eller blive forkortet.

Denne begrænsning er kritisk, når du behandler store dokumenter eller lange samtalehistorikker. Du skal beregne den resterende plads dynamisk. Vores API håndhæver en kombineret grænse på 100,000 tokens for prompt og completion. Reserver altid mindst 2,048 tokens til standardoutput for at undgå grænsefejl.

2. Ignorering af tokengrænser i output

Hver API-anmodning har en maksimal output-længde. Hvis du ikke angiver en grænse, defaulter modellen til 2.048 tokens. At sende en meget lang prompt uden at indstille max_tokens kan føre til uventet forkortelse. Modellen stopper med at generere, når den rammer grænsen, hvilket efterlader dit svar ufuldstændigt.

Denne adfærd er konsistent på tværs af de fleste LLM'er, herunder ukensorerede varianter. Du skal eksplicit indstille max_tokens parameter til at kontrollere outputlængde. For eksempel, hvis du skal bruge en 10.000-token lang artikel, skal du indstille max_tokens=10000. Hvis du ikke gør dette, spilder du tokens på korte output og skal bruge et andet kald for at fortsætte.

• Indstil max_tokens eksplicit til lange svar.
• Standard output er 2.048 tokens, hvis det ikke er specificeret.
• Output tokens tæller med i dit totale kontekstvindue.

3. Forveksling af Abliterated med standard Qwen

Abliterede modeller er modificeret til at fjerne afvisningsudløsere, men de forbliver basale Qwen-arkitekturer. De opnår ikke nye kapaciteter eller viden. Den primære forskel er adfærd: abliterede modeller svarer på kontroversielle eller voksne emner uden tøven. Standard Qwen-modeller kan afvise eller give generiske svar på sådanne emner.

Denne forskel er vigtig til rollespil og kreativ skrivning. Hvis du har brug for en model, der engagerer sig med ethvert emne, skal du bruge en abliterated variant. Men den underliggende ræsonnement og logik forbliver den samme. Du kan ikke forvente, at en abliterated-model er smartere eller hurtigere. Den siger blot ikke nej. Tjek modelkortet for specifikke versionsdetaljer.

4. Antager, at standard OpenAI-parametre fungerer identisk

OpenAI-kompatible APIs accepterer standardparametre som temperature og top_p. Dog kan effekten af disse parametre variere mellem modeller. En temperatur på 0,7 i en model kan producere forskellige niveauer af kreativitet i en anden. Ufiltrerede modeller reagerer ofte bedre på højere temperaturer til rollespil.

Eksperimentér med parametre for at finde den rigtige balance. Brug temperature til kreativitet og top_p til diversitet. Vores API understøtter standardparametre. Juster dem baseret på dit use case. For eksempel, brug temperature=0.2 til faktuelle svar og temperature=0.9 til kreativ skrivning.

5. Overser parsing af streaming-svar

Streaming-respons leverer tokens, mens de genereres. Dette forbedrer brugeroplevelsen, men kræver omhyggelig parsing. Du skal håndtere den sidste chunk for at få tokenforbrugsdata. Hvis du kun behandler indholdstokens, går du glip af omkostningsmålingerne.

Vores API sender data om forbrug i den sidste chunk af streamen. Du skal analysere denne chunk for at spore dit tokenforbrug. Ignorer forbrugsdata i mellemstore chunks. Denne tilgang sikrer nøjagtig fakturering og overvågning. Streaming er essentiel for realtidsapplikationer.

6. Misforståelse af 'Refusal'-adfærd

Abliterede modeller afviser sjældent, men de er ikke immune over for begrænsninger. De kan stadig afvise, hvis input overstiger token-grænserne eller indeholder ugyldig JSON. De afviser også seksuelt indhold, der involverer mindreårig, da dette er en hard limit. Denne afvisning baseres på indholdspolitik, ikke modellens evne.

Forstå forskellen mellem et afslag og en fejl. Et afslag betyder, at modellen valgte ikke at svare. En fejl betyder, at anmodningen var ugyldig. Tjek responsstatuskoden for at skelne mellem de to. Vores API håndhæver en hard limit på seksuelt indhold med mindreårige. Alle andre emner er tilladt.

7. Ikke optimerer til function calling

Function calling gør det muligt for modellen at returnere struktureret data. Dette er nyttigt til API-integrationer og dataudtræk. Men abliterated modeller kan prioritere naturligt sprog frem for streng JSON. Dette kan føre til malformed JSON-svar.

For at optimere function calling skal du bruge response_format={"type": "json_object"}. Dette tvinger modellen til at outputte gyldig JSON. Du kan også bruge tool_choice til at angive, hvilken funktion der skal kaldes. Test dine funktioner grundigt for at sikre pålidelighed. Vores API understøtter fuld funktionssamtale-funktionalitet.

8. Antager ubegrænsede samtidige anmodninger

API'er har rate limits for at sikre stabilitet. Vores API tillader 300 anmodninger i minuttet per nøgle. Det tillader også 8 parallelle anmodninger. At overskride disse grænser resulterer i en 429-fejl. Du skal implementere retry-logik med eksponentiel backoff.

Overvåg dit forbrug for at undgå at ramme grænser. Brug flere API-nøgler, hvis du har brug for højere concurrent. Hver nøgle har sine egne grænser. Denne tilgang skalerer din applikation effektivt. Planlæg dit anmodningsvolumen baseret på disse begrænsninger.

9. Glemme at tjekke tokenomkostninger nøjagtigt

Tokenprisen er baseret på input- og output-tokens. Input-tokens koster $0.15 per 1M tokens. Output-tokens koster $0.50 per 1M tokens. Output-tokens er dyrere. Lange svar øger omkostningerne betydeligt.

Spor dit tokenforbrug for at administrere dit budget. Brug brugsdata fra den sidste streaming-chunk. Forudbetalt kredit opkræves baseret på faktisk brug. Fejl er gratis. Denne prissætningsmodel er gennemsigtig og retfærdig. Overvåg dit forbrug regelmæssigt for at undgå uventede gebyrer.