Qwen API：よくあるミスとその回避方法

1. コンテキストウィンドウの誤解

コンテキストウィンドウは、入力プロンプトとモデルの応答の両方に利用可能な総スペースを定義します。多くの開発者は、この制限が入力のみを対象としていると誤解していますが、ウィンドウには両方が含まれます。例えば、100,000トークンの制限の場合、利用可能な入力スペースから期待される出力サイズを差し引く必要があります。90,000トークンのプロンプトを送信し、20,000トークンの応答を要求すると、リクエストは失敗するか切り捨てられます。

大規模なドキュメントや長い会話履歴を処理する際、この制約は重要です。残りのスペースを動的に計算する必要があります。当社のAPIは、プロンプトと補完の合計で100,000トークンの制限を適用します。境界エラーを避けるため、デフォルトの出力用に少なくとも2,048トークンを常に確保してください。

2. 出力でのトークン制限の無視

すべてのAPIリクエストには最大出力長の制限があります。制限を指定しない場合、モデルはデフォルトで2,048トークンに設定されます。非常に長いプロンプトを送信して制限を設定しない場合、 max_tokens 予期しない切り捨てを引き起こす可能性があります。モデルは制限に達すると生成を停止し、応答が不完全になります。

この動作は、無制限のバリエーションを含むほとんどのLLMで同様です。明示的に設定する必要があります max_tokens 出力の長さを制御するパラメータ。例えば10,000トークンのエッセイが必要な場合は、 max_tokens=10000. そうしないと、短い出力にトークンが浪費され、続行するために2回目の呼び出しが必要になります。

• 設定 max_tokens 長い応答のために明示的。
• 未指定の場合、デフォルトの出力は2,048トークンです。
• 出力トークンは総コンテキストウィンドウにカウントされます。

3. Abliteratedモデルと標準的なQwenモデルの混同

アブリレーション済みモデルは拒否トリガーを除去するように変更されていますが、ベースのQwenアーキテクチャのままです。新しい機能や知識が追加されるわけではありません。主な違いは動作にあります：アブリレーション済みモデルは、論争的または成人向けトピックに躊躇せずに回答します。標準的なQwenモデルは、そのようなトピックに対して拒否したり、汎用的な回答をしたりする場合があります。

この区別はロールプレイやクリエイティブライティングにとって重要です。あらゆるトピックにエンゲージするモデルが必要な場合は、アブリテレート版を使用してください。ただし、根本的な推論とロジックは同じです。アブリテレートモデルがより賢く、または高速であると期待することはできません。単に「ノー」と言わないだけです。特定のバージョンの詳細についてはモデルカードを確認してください。

4. 標準的なOpenAIパラメータが同一に機能すると仮定する

OpenAI互換APIは、次のような標準パラメータを受け付けます temperature および top_p. ただし、これらのパラメータの効果はモデルによって異なる場合があります。あるモデルでの温度0.7は、別のモデルでは異なる創造性レベルを生成する可能性があります。無制限モデルは、ロールプレイに対して高い温度に反応しやすい傾向があります。

バランスを見つけるためにパラメータを試してください。使用 temperature 創造性と top_p 多様性のため。当APIは標準パラメータをサポートしています。ユースケースに基づいて調整してください。例えば、 temperature=0.2 事実に基づく応答のため、および temperature=0.9 創造的なライティングに最適です。

5. ストリーミングレスポンスのパースを見落とす

ストリーミングレスポンスはトークンを生成される際に配信します。これはユーザーエクスペリエンスを向上させますが、注意深い解析が必要です。トークン使用データを取得するには、最終チャンクを処理する必要があります。コンテンツトークンのみを処理する場合、コスト指標を見逃します。

当社のAPIはストリームの最後のチャンクで使用データを送信します。トークン消費を追跡するには、このチャンクを解析する必要があります。中間チャンクの使用データは無視してください。このアプローチにより、正確な課金とモニタリングが保証されます。ストリーミングはリアルタイムアプリケーションに不可欠です。

6. '拒否'動作の誤解

アブリレーション済みモデルは滅多に拒否しませんが、制約の影響を完全に受けません。入力トークン数を超えた場合や無効なJSONが含まれている場合、拒否する可能性があります。また、未成年者との性的コンテンツはハードリミットであるため拒否します。この拒否はモデルの能力ではなく、コンテンツポリシーに基づいています。

拒否とエラーの違いを理解しましょう。拒否とは、モデルが回答しないことを選択したことを意味します。エラーとは、リクエストの形式が正しくなかったことを意味します。レスポンスのステータスコードを確認して両者を区別してください。当APIは未成年者の性的コンテンツに対してハードリミットを適用します。その他のトピックはすべて許可されています。

7. Not Optimizing for Function Calling

関数呼び出しにより、モデルは構造化データを返します。これはAPI統合やデータ抽出に有用です。ただし、abliteratedモデルは厳密なJSONよりも自然言語を優先する場合があります。これにより、不正なJSON応答が発生する可能性があります。

関数呼び出しを最適化するには、 response_format={"type": "json_object"}これはモデルに有効なJSONを出力させることを強制します。また、以下も使用できます。 tool_choice 呼び出す関数を指定するため。信頼性を確保するために関数を十分にテストしてください。当社のAPIは完全な関数呼び出し機能をサポートしています。

8. Assuming Unlimited Concurrent Requests

APIは安定性を確保するためにレートリミットを適用します。当社のAPIは、キーあたり1分あたり300リクエスト、同時に8つのリクエストを許可します。これらの制限を超えると、429エラーが発生します。指数関数的バックオフ付きのリトライロジックを実装する必要があります。

リミットに達しないよう使用状況を監視してください。より高い同時実行数が必要な場合は、複数のAPIキーを使用してください。各キーには独自の制限があります。このアプローチによりアプリケーションが効果的にスケールします。これらの制約に基づいてリクエストボリュームを計画してください。

9. トークンコストを正確にチェックし忘れる

トークン価格は入力トークンと出力トークンに基づいています。入力トークンは1Mトークンあたり$0.15です。出力トークンは1Mトークンあたり$0.50です。出力トークンの方が高価です。長い応答はコストを大幅に増加させます。

トークン使用量を追跡して予算を管理しましょう。最終ストリーミングチャンクの使用データを使用してください。前払いクレジットは実際の使用量に基づいて課金されます。エラーは無料です。この価格モデルは透明で公平です。予期せぬ請求を避けるために、定期的に使用状況を確認してください。