Швидкий старт API Abliterated Qwen

Базова URL-адреса та аутентифікація

Підключіть конфігурацію існуючого SDK до нашого ендпоінту миттєво. Вкажіть клієнту на виділений базовий URL і надайте ключ, згенерований на нашій панелі керування. Ми використовуємо стандартну автентифікацію через заголовки, тому складна настройка не потрібна.

Ендпоінт — HTTPS://api.abliteratedqwen.com/v1. Створіть обліковий запис через Google або електронну пошту, а потім отримайте свій ключ у панелі керування. Використовуйте цей ключ у заголовку Authorization як токен Bearer для кожного запиту.

• Базова URL-адреса: HTTPS://api.abliteratedqwen.com/v1
• Заголовок Auth: Authorization: Bearer YOUR_API_KEY

Для реєстрації не потрібен номер телефону, і ключ з’являється миттєво після створення.

Ендпоінт Chat Completions

Надсилайте текстові повідомлення та отримуйте необмежені відповіді, використовуючи стандартний кінцевий пункт chat-completions. Цей кінцевий пункт обробляє всі ваші потреби в генерації тексту без звичайних фільтрів контенту. Він працює ідентично до інтерфейсу чату OpenAI, але знімає шар відмов.

Надішліть POST-запит до /v1/chat/completions із назвою вашої моделі та історією розмови. Система обробляє ввід і повертає згенерований текст. Ви можете використовувати будь-яку стандартну бібліотеку для форматування JSON-запиту.

Ось базовий запит для початку роботи:

Copycurl https://api.abliteratedqwen.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List the top 5 npm packages for date formatting"}]
  }'

Відповідь містить повні дані завершення. Ви можете інтегрувати їх безпосередньо у свої програми.

Потокові відповіді та використання токенів

Отримуйте оновлення токен за токену в реальному часі через Server-Sent Events. Ця функція забезпечує більш плавний користувацький досвід у чат-інтерфейсах. Ви можете відстежувати метрики використання безпосередньо з останнього чанку потоку.

Встановіть параметр stream у true в своєму запиті. Сервер надсилатиме кілька об'єктів JSON, кожен з яких містить частковий delta. Останній фрагмент включає загальне використання токенів для запиту.

Використовуйте цей код для обробки потокової передачі в Python:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedqwen.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Цей підхід значно знижує сприйняту затримку. Користувачі бачать, як текст з'являється по мірі його генерації.

Function Calling та інструменти

Увімкнути динамічне використання інструментів шляхом визначення функцій у вашому запиті. Модель може обирати та виконувати інструменти на основі контексту. Ця можливість дозволяє створювати складні робочі процеси та отримувати дані.

Визначте свої інструменти в масиві tools. Встановіть tool_choice у значення auto або конкретну назву функції. Модель відповість викликом інструмента, якщо це доречно.

Реалізуйте логіку інструменту у коді клієнта. Проаналізуйте tool_call_id та виконайте функцію. Потім надішліть результат назад моделі для фінальної відповіді.

Використовуйте цей приклад Node.js для налаштування виклику функцій:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.abliteratedqwen.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Ця функція підтримує як автоматичний, так і ручний вибір інструментів.

Режим JSON для структурованого виводу

Змушуйте модель виводити валідний JSON для надійного парсингу. Цей режим гарантує, що відповідь точно відповідає вашій схемі. Ідеально підходить для API-інтеграцій та задач вилучення даних.

Встановіть параметр response_format у значення json_object. Модель обмежить свій вихід валідним синтаксисом JSON. Це зменшує потребу в складному парсинзі за допомогою регулярних виразів.

Визначте очікувану структуру в системному промпті. Модель суворо дотримуватиметься її. Це корисно для генерації структурованих даних або конфігураційних файлів.

Параметри: Temperature, Top P та Stop

Керуйте випадковістю та умовами зупинки генерації. Налаштуйте temperature для креативності, top_p для різноманіття та послідовності зупинки для точного обрізання. Ці параметри дають вам детальний контроль над виводом.

Встановіть temperature між 0 та 2. Вищі значення збільшують випадковість. Використовуйте top_p, щоб обмежити пул токенів. Визначте послідовності stop, щоб зупинити генерацію на певних маркерах.

Ви також можете встановити presence_penalty та frequency_penalty, щоб впливати на повторення токенів. Ці налаштування допомагають уточнити стиль та послідовність виводу.

Ось приклад потокової передачі, щоб побачити ці параметри в дії:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Експериментуйте з цими значеннями, щоб знайти найкращий баланс для вашого випадку використання.