Qwen API: 흔한 실수와 방지 방법

1. 컨텍스트 창 오해하기

컨텍스트 윈도우는 입력 프롬프트와 모델의 응답 모두를 위한 총 공간 용량을 정의합니다. 많은 개발자는 이 제한이 입력에만 적용된다고 생각하지만, 윈도우에는 양쪽이 모두 포함됩니다. 예를 들어 100,000개의 토큰 제한이 있다면 사용 가능한 입력 공간에서 예상 출력 크기를 빼야 합니다. 90,000개의 토큰 프롬프트를 전송하고 20,000개의 토큰 응답을 요청하면 요청이 실패하거나 잘릴 수 있습니다.

이 제약 조건은 대용량 문서나 긴 대화 기록을 처리할 때 중요합니다. 남은 공간을 동적으로 계산해야 합니다. 당사 API는 프롬프트와 완성의 합계 제한을 100,000개로 적용합니다. 경계 오류를 피하기 위해 기본 출력에 최소 2,048개의 토큰을 항상 예약하세요.

2. 출력의 토큰 제한 무시

모든 API 요청에는 최대 출력 길이가 있습니다. 제한을 지정하지 않으면 모델은 2,048토큰을 기본값으로 사용합니다. 제한을 설정하지 않고 매우 긴 프롬프트를 보내면 max_tokens 예상치 못한 단축을 초래할 수 있습니다. 모델은 제한에 도달하면 생성을 중단하여 응답이 불완전하게 남습니다.

이 동작은 무장 해제된 변형을 포함한 대부분의 LLM에서 일관됩니다. 명시적으로 설정해야 합니다. max_tokens 출력 길이를 제어하는 파라미터입니다. 예를 들어 10,000 토큰 분량의 에세이가 필요하면 max_tokens=10000. 그렇게 하지 않으면 짧은 출력에 토큰이 낭비되고 계속하기 위해 두 번째 호출이 필요합니다.

• 設定 max_tokens 긴 응답을 위해 명시적입니다.
• 미설정 시 기본 출력은 2,048 토큰입니다.
• 출력 토큰은 총 컨텍스트 창에 포함됩니다.

3. Abliterated 모델과 표준 Qwen 모델 혼동

Abliterated 모델은 거부 트리거를 제거하지만 기본 Qwen 아키텍처를 유지합니다. 새로운 기능이나 지식을 얻지 않습니다. 주요 차이점은 동작에 있습니다: Abliterated 모델은 논쟁적이거나 성인 주제에 대해 주저함 없이 답변합니다. 표준 Qwen 모델은 이러한 주제에 대해 거부하거나 일반적인 답변을 제공할 수 있습니다.

이 구별은 역할극과 창의적 글쓰기에 중요합니다. 모든 주제에 참여하는 모델이 필요하다면 Abliterated 변형을 사용하세요. 그러나 기본 추론과 논리는 동일하게 유지됩니다. Abliterated 모델이 더 똑똑하거나 빠르다고 기대할 수는 없습니다. 단순히 '아니오'라고 말하지 않을 뿐입니다. 특정 버전 세부 정보는 모델 카드를 확인하세요.

4. 표준 OpenAI 파라미터가 동일하게 작동한다고 가정하기

OpenAI 호환 API는 다음과 같은 표준 매개변수를 허용합니다. temperature 및 top_p. 그러나 이러한 매개변수의 효과는 모델 간에 다를 수 있습니다. 한 모델에서 0.7의 온도는 다른 모델에서 다른 창의성 수준을 생성할 수 있습니다. 무검열 모델은 역할극을 위해 더 높은 온도에 더 잘 반응하는 경향이 있습니다.

적절한 균형을 찾기 위해 매개변수를 실험하세요. 사용 temperature 창의성과 top_p 다양성. 우리 API는 표준 매개변수를 지원합니다. 사용 사례에 따라 조정하세요. 예를 들어, 사용 temperature=0.2 사실 기반 응답 및 temperature=0.9 창의적 글쓰기에 적합합니다.

5. 스트리밍 응답 파싱 간과하기

스트리밍 응답은 생성되는 대로 토큰을 전달합니다. 이는 사용자 경험을 향상시키지만 신중한 구문 분석이 필요합니다. 토큰 사용량 데이터를 얻으려면 마지막 청크를 처리해야 합니다. 콘텐츠 토큰만 처리하면 비용 지표가 누락됩니다.

당사의 API는 스트림의 마지막 청크에서 사용 데이터를 전송합니다. 토큰 소비량을 추적하려면 해당 청크를 파싱해야 합니다. 중간 청크의 사용 데이터는 무시하십시오. 이 접근 방식은 정확한 청구와 모니터링을 보장합니다. 스트리밍은 실시간 애플리케이션에 필수적입니다.

6. '거부(Refusal)' 동작 오해

Abliterated 모델은 거의 거부하지 않지만 제약에서 완전히 자유로운 것은 아닙니다. 입력이 토큰 한도를 초과하거나 유효하지 않은 JSON을 포함하는 경우 여전히 거부할 수 있습니다. 또한 미성년자가 포함된 성 콘텐츠는 하드 리밋이므로 거부합니다. 이 거부는 모델 능력에 기반한 것이 아니라 콘텐츠 정책에 기반합니다.

거부와 오류의 차이점을 이해하세요. 거부는 모델이 답변하지 않기로 선택했음을 의미합니다. 오류는 요청이 잘못되었음을 의미합니다. 응답 상태 코드를 확인하여 두 가지를 구분하세요. 당사 API는 미성년자 성 콘텐츠에 하드 제한을 적용합니다. 다른 모든 주제는 허용됩니다.

7. Not Optimizing for Function Calling

함수 호출(Function calling)은 모델이 구조화된 데이터를 반환합니다. 이는 API 통합 및 데이터 추출에 유용합니다. 그러나 abliterated 모델은 엄격한 JSON보다 자연어 우선순위를 둘 수 있습니다. 이는 잘못된 형식의 JSON 응답을 초래할 수 있습니다.

関数呼び出しを最適化するには、 response_format={"type": "json_object"}. 이는 모델이 유효한 JSON을 출력하도록 강제합니다. 또한 tool_choice 호출할 함수를 지정합니다. 신뢰성을 보장하기 위해 함수를 철저히 테스트합니다. 우리 API는 전체 함수 호출 기능을 지원합니다.

8. Assuming Unlimited Concurrent Requests

APIs는 안정성을 보장하기 위해 속도 제한을 적용합니다. API는 키당 분당 300개의 요청을 허용합니다. 또한 8개의 동시 요청도 허용합니다. 이러한 제한을 초과하면 429 오류가 발생합니다. 지수 백오프와 함께 재시도 로직을 구현해야 합니다.

제한에 도달하지 않도록 사용량을 모니터링하세요. 더 높은 동시성이 필요한 경우 여러 API 키를 사용하세요. 각 키에는 자체 제한이 있습니다. 이 접근 방식은 애플리케이션을 효과적으로 확장합니다. 이러한 제약 조건을 기반으로 요청량을 계획하세요.

9. 토큰 비용 정확히 확인 안 함

토큰 가격은 입력 및 출력 토큰을 기준으로 합니다. 입력 토큰은 100만 개당 $0.15입니다. 출력 토큰은 100만 개당 $0.50입니다. 출력 토큰이 더 비쌉니다. 긴 응답은 비용을 크게 증가시킵니다.

예산 관리를 위해 토큰 사용량을 추적하세요. 최종 스트리밍 청크의 사용량 데이터를 사용하세요. 선불 크레딧은 실제 사용량을 기준으로 과금됩니다. 오류는 무료입니다. 이 가격 책정 모델은 투명하고 공정합니다. 예상치 못한 과금을 피하기 위해 사용량을 정기적으로 모니터링하세요.