Szybki start z API Abliterated Qwen

Bazowy URL i autoryzacja

Podłącz konfigurację istniejącego SDK do naszego punktu końcowego natychmiast. Wskaż klienta na dedykowany adres bazowy i podaj klucz wygenerowany w naszym panelu. Używamy standardowej autoryzacji nagłówkowej, więc nie jest wymagane skomplikowane skonfigurowanie.

Punktem końcowym jest HTTPS://api.abliteratedqwen.com/v1. Utwórz konto przez Google lub e-mail, a następnie pobierz swój klucz z panelu sterowania. Użyj tego klucza w nagłówku Authorization jako tokena Bearer dla każdej żądania.

• Bazowy URL: HTTPS://api.abliteratedqwen.com/v1
• Nagłówek Auth: Authorization: Bearer YOUR_API_KEY

Nie jest wymagany numer telefonu do rejestracji, a klucz pojawia się natychmiast po jego utworzeniu.

Punkt końcowy Uzupełnień Czat

Wyślij wiadomości tekstowe i otrzymaj nieograniczone odpowiedzi używając standardowego endpointu uzupełnień czatu. Ten endpoint obsługuje wszystkie Twoje potrzeby generowania tekstu bez zwykłych filtrów treści. Działa identycznie jak interfejs czatu OpenAI, ale usuwa warstwę odmów.

Wyślij żądanie POST do /v1/chat/completions z nazwą swojego modelu i historią konwersacji. System przetwarza dane wejściowe i zwraca wygenerowany tekst. Możesz użyć dowolnej standardowej biblioteki do sformatowania payloadu JSON.

Oto podstawowe żądanie, aby zacząć:

Copycurl https://api.abliteratedqwen.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List the top 5 npm packages for date formatting"}]
  }'

Odpowiedź zawiera pełne szczegóły uzupełnienia. Możesz zintegrować to bezpośrednio ze swoimi aplikacjami.

Odpowiedzi strumieniowe i zużycie tokenów

Otrzymuj aktualizacje token po tokenie w czasie rzeczywistym za pomocą Server-Sent Events. Ta funkcja pozwala na płynniejsze doświadczenie użytkownika w interfejsach czatu. Możesz śledzić metryki zużycia bezpośrednio z ostatniego fragmentu strumienia.

Ustaw parametr stream na true w żądaniu. Serwer wyśle wiele obiektów JSON, każdy zawierający częściową deltę. Ostatni fragment zawiera całkowite użycie tokenów dla żądania.

Użyj tego kodu do obsługi strumieniowania w Pythonie:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedqwen.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Podejście to znacząco redukuje postrzeganą latencję. Użytkownicy widzą, jak tekst pojawia się w miarę jego generowania.

Wywoływanie funkcji i narzędzia

Włącz dynamiczne używanie narzędzi poprzez zdefiniowanie funkcji w żądaniu. Model może wybierać i wykonywać narzędzia na podstawie kontekstu. Ta możliwość pozwala na złożone przepływy pracy i pobieranie danych.

Zdefiniuj swoje narzędzia w tablicy tools. Ustaw tool_choice na auto lub konkretną nazwę funkcji. Model zwróci wywołanie narzędzia, jeśli będzie to stosowne.

Wdroż logikę narzędzia w kodzie klienta. Przeanalizuj tool_call_id i wykonaj funkcję. Następnie wyślij wynik z powrotem do modelu w celu uzyskania ostatecznej odpowiedzi.

Użyj tego przykładu Node.js, aby skonfigurować wywoływanie funkcji:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.abliteratedqwen.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ta funkcja obsługuje zarówno automatyczny, jak i ręczny wybór narzędzi.

Tryb JSON dla danych wyjściowych strukturalnych

Wymuszaj na modelu poprawne dane JSON do niezawodnego parsowania. Tryb ten zapewnia, że odpowiedź dokładnie odpowiada Twojemu schematowi. Jest idealny do integracji API i zadań wyodrębniania danych.

Ustaw parametr response_format na json_object. Model ograniczy swoje wyjście do poprawnej składni JSON. Zmniejsza to potrzebę stosowania złożonego parsowania za pomocą wyrażeń regularnych.

Zdefiniuj oczekiwany format w systemowym promptcie. Model będzie go ściśle przestrzegał. Jest to przydatne przy generowaniu danych strukturalnych lub plików konfiguracyjnych.

Parametry: Temperatura, Top P i Stop

Steruj losowością i warunkami zakończenia generowania. Dostosuj temperaturę dla kreatywności, top_p dla różnorodności oraz sekwencje stop dla precyzyjnego ucinania tekstu. Parametry te zapewniają Ci drobną kontrolę nad outputem.

Ustaw temperaturę między 0 a 2. Wyższe wartości zwiększają losowość. Użyj top_p, aby ograniczyć pulę tokenów. Zdefiniuj sekwencje stop, aby zatrzymać generowanie w określonych markerach.

Możesz również ustawić presence_penalty i frequency_penalty, aby wpływać na powtarzanie tokenów. Ustawienia te pomagają dopracować styl i spójność wyniku.

Oto przykład strumieniowania pokazujący działanie tych parametrów:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Eksperymentuj z tymi wartościami, aby znaleźć najlepsze dopasowanie dla swojego przypadku użycia.