Qwen API: Распространенные ошибки и способы их избежать

1. Непонимание окна контекста

Контекстное окно определяет общее пространство, доступное как для вашего входного промпта, так и для ответа модели. Многие разработчики полагают, что ограничение относится только к вводу, но окно включает оба компонента. Например, лимит в 100,000 токенов означает, что вам нужно вычесть ожидаемый размер вывода из доступного пространства ввода. Если вы отправите промпт на 90,000 токенов и запросите ответ на 20,000 токенов, запрос будет отклонен или обрезан.

Это ограничение критично при обработке больших документов или длинных историй разговора. Вы должны динамически рассчитывать оставшееся пространство. Наш API накладывает комбинированный лимит в 100,000 токенов для промпта и завершения. Всегда оставляйте не менее 2,048 токенов для вывода по умолчанию, чтобы избежать ошибок границ.

2. Игнорирование лимитов токенов на вывод

У каждого запроса API есть максимальная длина вывода. Если вы не укажете лимит, модель по умолчанию установит 2 048 токенов. Отправка очень длинного промпта без установки max_tokens может привести к неожиданному усечению. Модель прекращает генерацию, достигнув лимита, оставляя ваш ответ незавершенным.

Это поведение согласуется с большинством LLM, включая варианты без цензуры. Вы должны явно установить max_tokens параметр для управления длиной вывода. Например, если вам нужен эссе на 10 000 токенов, вы должны установить max_tokens=10000. Если не сделать этого, токены будут потрачены впустую на короткие выводы, и потребуется второй вызов для продолжения.

• Установить max_tokens явно для длинных ответов.
• Вывод по умолчанию составляет 2 048 токенов, если не указано.
• Выходные токены учитываются в общем контекстном окне.

3. Путаница между Abliterated и стандартным Qwen

Модели с аблиторацией модифицированы для удаления триггеров отказа, но остаются базовой архитектурой Qwen. Они не приобретают новых возможностей или знаний. Основное различие заключается в поведении: модели с аблиторацией отвечают на спорные темы или темы для взрослых без колебаний. Стандартные модели Qwen могут отказывать или давать общие ответы на такие темы.

Это различие важно для ролевых игр и творческого письма. Если вам нужна модель, которая взаимодействует с любой темой, используйте вариант, прошедший аблитерацию. Однако базовые рассуждения и логика остаются прежними. Вы не можете ожидать, что модель, прошедшая аблитерацию, будет умнее или быстрее. Она просто не говорит «нет». Проверьте карточку модели для получения конкретных сведений о версии.

4. Предположение, что стандартные параметры OpenAI работают идентично

OpenAI-совместимые API принимают стандартные параметры, такие как temperature и top_p. Однако влияние этих параметров может различаться между моделями. Температура 0.7 в одной модели может давать другой уровень креативности в другой. Модели без цензуры часто лучше реагируют на более высокие температуры для ролевых игр.

Экспериментируйте с параметрами, чтобы найти правильный баланс. Используйте temperature для творчества и top_p для разнообразия. Наш API поддерживает стандартные параметры. Настраивайте их в зависимости от вашего случая использования. Например, используйте temperature=0.2 для фактических ответов и temperature=0.9 для творческого письма.

5. Игнорирование парсинга потоковых ответов

Потоковые ответы доставляют токены по мере их генерации. Это улучшает пользовательский опыт, но требует тщательного разбора. Вы должны обработать финальный фрагмент, чтобы получить данные об использовании токенов. Если вы обрабатываете только контентные токены, вы упускаете метрики стоимости.

Наш API отправляет данные об использовании в последнем чанке потока. Вы должны распарсить этот чанк, чтобы отслеживать потребление токенов. Игнорируйте данные об использовании в промежуточных чанках. Этот подход обеспечивает точное выставление счетов и мониторинг. Потоковая передача необходима для приложений реального времени.

6. Неправильная интерпретация поведения 'Отказа'

Модели с аблиторацией редко отказывают, но они неimmunны к ограничениям. Они могут всё ещё отказывать, если вход превышает лимит токенов или содержит невалидный JSON. Они также отказывают в контенте сексуального характера с участием несовершеннолетних, так как это жёсткое ограничение. Этот отказ основан на политике контента, а не на способности модели.

Понимание различия между отказом и ошибкой. Отказ означает, что модель решила не отвечать. Ошибка означает, что запрос был некорректным. Проверьте код состояния ответа, чтобы различить их. Наш API устанавливает жесткое ограничение на контент сексуального характера с участием несовершеннолетних. Все остальные темы разрешены.

7. Неоптимизация для вызова функций

Вызов функций позволяет модели возвращать структурированные данные. Это полезно для интеграции API и извлечения данных. Однако модели с удаленной цензурой могут отдавать приоритет естественному языку над строгим JSON. Это может привести к некорректным ответам JSON.

Для оптимизации вызова функций используйте response_format={"type": "json_object"}. Это заставляет модель выводить валидный JSON. Вы также можете использовать tool_choice для указания, какую функцию вызвать. Тщательно протестируйте свои функции, чтобы обеспечить надежность. Наш API поддерживает полную функциональность вызова функций.

8. Предположение о неограниченных параллельных запросах

У API есть лимиты частоты для обеспечения стабильности. Наш API позволяет 300 запросов в минуту на ключ. Он также позволяет 8 одновременных запросов. Превышение этих лимитов приводит к ошибке 429. Вы должны реализовать логику повторных попыток с экспоненциальным замедлением.

Отслеживайте использование, чтобы не превысить лимиты. Используйте несколько ключей API, если вам нужна более высокая параллельность. У каждого ключа свои лимиты. Этот подход эффективно масштабирует ваше приложение. Планируйте объем запросов с учетом этих ограничений.

9. Забывают точно проверять стоимость токенов

Тарификация токенов основана на входных и выходных токенах. Входные токены стоят $0.15 за 1M токенов. Выходные токены стоят $0.50 за 1M токенов. Выходные токены дороже. Длинные ответы значительно увеличивают стоимость.

Отслеживайте использование токенов, чтобы управлять бюджетом. Используйте данные об использовании из последнего фрагмента потокового ответа. Предоплаченный кредит списывается на основе фактического использования. Ошибки бесплатны. Эта модель ценообразования прозрачна и справедлива. Регулярно отслеживайте использование, чтобы избежать неожиданных расходов.