Qwen API: Časté chyby a jak se jim vyhnout

1. Nepochopení kontextového okna

Okno kontextu definuje celkový prostor dostupný jak pro váš vstupní prompt, tak pro odpověď modelu. Mnoho vývojářů předpokládá, že omezení platí pouze pro vstup, ale okno zahrnuje obě složky. Například limit 100 000 tokenů znamená, že musíte od dostupného vstupního prostoru odečíst očekávanou velikost výstupu. Pokud odešlete prompt o 90 000 znacích a požadujete odpověď o 20 000 znacích, požadavek selže nebo bude oříznut.

Toto omezení je kritické při zpracování velkých dokumentů nebo dlouhých historií konverzací. Musíte zbývající prostor dynamicky vypočítat. Naše API vynucuje kombinovaný limit 100 000 tokenů pro podnět a dokončení. Vždy vyhraďte alespoň 2 048 tokenů pro výchozí výstup, abyste předešli chybám hranic.

2. Ignorování limitů tokenů ve výstupu

Každá žádání API má maximální délku výstupu. Pokud nezadáte limit, model výchozím způsobem použije 2 048 tokenů. Odeslání velmi dlouhého promptu bez nastavení max_tokens může vést k neočekávanému oříznutí. Model přestane generovat, jakmile dosáhne limitu, což ponechá vaši odpověď neúplnou.

Toto chování je konzistentní u většiny LLM, včetně variant bez cenzury. Musíte explicitně nastavit max_tokens parametr pro řízení délky výstupu. Pokud například potřebujete esej o rozsahu 10 000 tokenů, musíte nastavit max_tokens=10000. Pokud tak neučiníte, plýtváte tokeny na krátké výstupy a potřebujete druhé volání pro pokračování.

• Nastavit max_tokens explicitně pro dlouhé odpovědi.
• Výchozí výstup je 2 048 tokenů, pokud není uvedeno.
• Výstupní tokeny započítávají do celkového kontextového okna.

3. Záměna Abliterated s běžným Qwen

Modely abliterované jsou upraveny tak, aby odstranily spouštěče odmítání, ale zůstávají základními architekturami Qwen. nezískávají nové schopnosti ani znalosti. Hlavní rozdíl je v chování: modely abliterované odpovídají na kontroverzní nebo témata pro dospělé bez váhání. Běžné modely Qwen mohou na taková témata odmítnout odpověď nebo poskytnout obecné odpovědi.

Tento rozdíl je důležitý pro roleplay a kreativní psaní. Pokud potřebujete model, který se zapojuje do jakéhokoli tématu, použijte abliterated variantu. Základní úvahy a logika však zůstávají stejné. Nemůžete očekávat, že bude abliterated model chytřejší nebo rychlejší. Prostě neříká ne. Podrobnosti o konkrétní verzi naleznete v kartě modelu.

4. Předpokládání, že standardní parametry OpenAI fungují identicky

OpenAI-kompatibilní API přijímají standardní parametry jako temperature a top_p. Vliv těchto parametrů se však může mezi modely lišit. Teplota 0,7 u jednoho modelu může produkovat jinou úroveň kreativity než u jiného. Modely bez cenzury často lépe reagují na vyšší teploty pro roleplay.

Experimentujte s parametry a najděte správnou rovnováhu. Použijte temperature pro kreativitu a top_p pro rozmanitost. Naše API podporuje standardní parametry. Upravte je podle případu použití. Například použijte temperature=0.2 pro faktické odpovědi a temperature=0.9 pro kreativní psaní.

5. Přehlédnutí parsování streamovaných odpovědí

Streamované odpovědi doručují tokeny, jak jsou generovány. To zlepšuje uživatelský zážitek, ale vyžaduje pečlivou analýzu. Musíte zpracovat poslední blok, abyste získali data o využití tokenů. Pokud zpracováváte pouze tokeny obsahu, přijdete o metriky nákladů.

Naše API odesílá data o využití v posledním chunku streamu. Musíte tento chunk parsovat, abyste sledovali spotřebu tokenů. Ignorujte data o využití v mezilehlých chunkech. Tento přístup zajišťuje přesné fakturování a monitorování. Streamování je nezbytné pro aplikace v reálném čase.

6. Nesprávná interpretace chování 'Odmítnutí'

Modely s abliterací odmítají zřídka, ale nejsou imunní vůči omezením. Stále mohou odmítnout, pokud vstup přesáhne limity tokenů nebo obsahuje neplatný JSON. Také odmítají sexuální obsah zahrnující nezletilé, protože jde o pevné omezení. Toto odmítnutí vychází z politiky obsahu, nikoli ze schopnosti modelu.

Chápejte rozdíl mezi odmítnutím a chybou. Odmítnutí znamená, že model se rozhodl neodpovědět. Chyba znamená, že požadavek byl nesprávně formátován. Zkontrolujte stavový kód odpovědi pro rozlišení mezi těmito dvěma. Naše API vynucuje tvrdý limit na sexuální obsah s nezletilými. Všechna ostatní témata jsou povolena.

7. Neoptimalizace pro volání funkcí

Volání funkcí umožňuje modelu vrátit strukturovaná data. To je užitečné pro integrace API a extrakci dat. Nicméně, abliterated modely mohou upřednostňovat přirozený jazyk před přísným JSON. To může vést k nesprávně naformátovaným odpovědím JSON.

Pro optimalizaci volání funkcí použijte response_format={"type": "json_object"}. Toto donutí model výstupovat platný JSON. Můžete také použít tool_choice pro určení, kterou funkci zavolat. Důkladně otestujte své funkce pro zajištění spolehlivosti. Naše API plně podporuje volání funkcí.

8. Předpoklad neomezených souběžných požadavků

API mají limity rychlosti pro zajištění stability. Naše API umožňuje 300 požadavků za minutu na klíč. Také umožňuje 8 souběžných požadavků. Překročení těchto limitů má za následek chybu 429. Musíte implementovat logiku opakování s exponenciálním zpětným zpožděním.

Sledujte své využití, abyste předešli dosažení limitů. Pokud potřebujete vyšší konkurenci, použijte více API klíčů. Každý klíč má vlastní limity. Tento přístup efektivně škáluje vaši aplikaci. Plánujte objem požadavků na základě těchto omezení.

9. Zapomínání na přesné zjišťování nákladů na tokeny

Ceny tokenů jsou založeny na vstupních a výstupních tocenech. Vstupní tokeny stojí $0,15 za 1M tokenů. Výstupní tokeny stojí $0,50 za 1M tokenů. Výstupní tokeny jsou dražší. Dlouhé odpovědi výrazně zvyšují náklady.

Sledujte využití tokenů pro řízení rozpočtu. Použijte data o využití z posledního streamovaného chunku. Předplacený kredit se účtuje na základě skutečného využití. Chyby jsou zdarma. Tento cenový model je transparentní a férový. Pravidelně sledujte své využití, abyste předešli neočekávaným poplatkům.