Rychlý start API Abliterated Qwen

Základní URL a ověření

Okamžitě připojte konfiguraci stávajícího SDK k našemu endpointu. Směrujte klienta na vyhrazenou základní URL a zadejte klíč vygenerovaný na našem dashboardu. Používáme standardní ověřování pomocí hlaviček, takže není potřeba složité nastavení.

Endpoint je HTTPS://api.abliteratedqwen.com/v1. Vytvořte účet přes Google nebo e-mail, poté získáte klíč z panelu. Použijte tento klíč v hlavičce Authorization jako token Bearer pro každý požadavek.

• Základní URL: HTTPS://api.abliteratedqwen.com/v1
• Hlavička Auth: Authorization: Bearer YOUR_API_KEY

Pro registraci není vyžadováno telefonní číslo a klíč se objeví okamžitě po vytvoření.

Endpoint Chat Completions

Odesílejte textové zprávy a přijímejte neomezené odpovědi pomocí standardního endpointu chat-completions. Tento endpoint řeší všechny vaše potřeby generování textu bez běžných filtrů obsahu. Funguje identicky jako rozhraní chatu OpenAI, ale odstraňuje vrstvu odmítání.

Odešlete požadavek POST na /v1/chat/completions se svým názvem modelu a historií konverzace. Systém zpracuje vstup a vrátí vygenerovaný text. K formátování payloadu JSON můžete použít libovolnou standardní knihovnu.

Zde je základní požadavek pro začátek:

Copycurl https://api.abliteratedqwen.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List the top 5 npm packages for date formatting"}]
  }'

Odpověď obsahuje úplné detaily dokončení. Tyto údaje můžete přímo integrovat do svých aplikací.

Streamované odpovědi a spotřeba tokenů

Získejte aktualizace token po tokenu v reálném čase prostřednictvím Server-Sent Events. Tato funkce umožňuje plynulejší uživatelský zážitek v rozhraní chatu. Můžete sledovat metriky využití přímo z poslední části streamu.

Nastavte parametr stream na true ve svém požadavku. Server odešle více objektů JSON, z nichž každý obsahuje částečnou delta. Poslední část zahrnuje celkové využití tokenů pro požadavek.

Použijte tento kód pro zpracování streamování v Pythonu:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedqwen.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Tento přístup výrazně snižuje vnímanou latenci. Uživatelé vidí text, jak se objevuje.

Volání funkcí a nástroje

Povolit dynamické používání nástrojů definováním funkcí ve své žádosti. Model může vybírat a vykonávat nástroje na základě kontextu. Tato možnost umožňuje složité pracovní postupy a získávání dat.

Definujte své nástroje v poli tools. Nastavte tool_choice na auto nebo konkrétní název funkce. Model odpoví voláním nástroje, pokud je to vhodné.

Implementujte logiku nástroje ve vašem kódu klienta. Parsovejte tool_call_id a vykonajte funkci. Poté pošlete výsledek zpět modelu pro konečnou odpověď.

Použijte tento příklad Node.js k nastavení volání funkcí:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.abliteratedqwen.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Tato funkce podporuje jak automatický, tak manuální výběr nástrojů.

Režim JSON pro strukturovaný výstup

Vynutit na modelu platný JSON pro spolehlivé parsování. Tento režim zajišťuje, že odpověď přesně odpovídá vašemu schématu. Je ideální pro integrace API a úkoly extrakce dat.

Nastavte parametr response_format na json_object. Model omezí svůj výstup na platnou syntaxi JSON. To snižuje potřebu složitého parsování pomocí regulárních výrazů.

Definujte očekávanou strukturu v systémovém promptu. Model se jí bude striktně držet. To je užitečné pro generování strukturovaných dat nebo konfiguračních souborů.

Parametry: Teplota, Top P a Stop

Ovládejte náhodnost a podmínky zastavení generování. Upravte teplotu pro kreativitu, top_p pro rozmanitost a sekvence pro přesné oříznutí. Tyto parametry vám poskytují jemnou kontrolu nad výstupem.

Nastavte teplotu mezi 0 a 2. Vyšší hodnoty zvyšují náhodnost. Použijte top_p pro omezení poolu tokenů. Definujte sekvence stop pro zastavení generování na specifických značkách.

Můžete také nastavit presence_penalty a frequency_penalty pro ovlivnění opakování tokenů. Tato nastavení pomáhají vylepšit styl a konzistenci výstupu.

Zde je příklad streamování, který ukazuje tyto parametry v akci:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Experimentujte s těmito hodnotami a najděte nejlepší rovnováhu pro váš případ použití.