Qwen API：常見錯誤與避免方法

1. 誤解上下文視窗

上下文視窗定義了輸入提示與模型回應可用的總空間。許多開發者誤以為限制僅適用於輸入，但視窗包含兩者。例如，100,000 token 的限制意味著您必須從可用輸入空間中減去預期的輸出大小。如果您發送 90,000 token 的提示並要求 20,000 token 的回應，請求將會失敗或遭到截斷。

處理大型文件或長對話歷史時，此限制至關重要。您必須動態計算剩餘空間。我們的 API 對提示與補全的總 token 數實施 100,000 個 token 的總和限制。請務必預留至少 2,048 個 token 作為預設輸出，以避免邊界錯誤。

2. 忽略輸出中的 Token 限制

每次 API 請求都有最大輸出長度限制。如果您未指定限制，模型預設為 2,048 個 token。發送非常長的提示而未設定 max_tokens 可能會導致意外的截斷。模型在達到限制時會停止生成，導致回應不完整。

此行為在大多數 LLM 中保持一致，包括無審查變體。您必須明確設定 max_tokens 用於控制輸出長度的參數。例如，如果您需要一篇 10,000 token 的文章，您必須設定 max_tokens=10000. 若不如此做，會浪費令牌於短輸出上，並需要第二次呼叫才能繼續。

• 設定 max_tokens 明確指定以用於長回應。
• 若未指定，預設輸出為 2,048 個 token。
• 輸出 token 會佔用您的總上下文視窗。

3. 混淆 Abliterated 與標準 Qwen

Abliterated 模型經過修改以移除拒絕觸發器，但它們仍保持基礎 Qwen 架構。它們不會獲得新的功能或知識。主要差異在於行為：Abliterated 模型在面對爭議性或成人主題時毫不猶豫。標準 Qwen 模型可能會拒絕這些主題或給出通用回答。

此區別對於角色扮演和創意寫作至關重要。如果你需要一個能參與任何主題的模型，請使用 Abliterated 變體。然而，底層的推理和邏輯保持不變。你無法期望 Abliterated 模型更聰明或更快。它只是不會說不。請查看模型卡以獲取特定版本詳細資訊。

4. 假設標準 OpenAI 參數運作方式相同

OpenAI 相容 API 接受標準參數，例如 temperature 和 top_p. 然而，這些參數的效果可能因模型而異。一個模型中 0.7 的溫度可能在另一個模型中產生不同的創意水平。無審查模型通常在角色扮演中對較高的溫度反應更好。

實驗參數以找到最佳平衡點。使用 temperature 用於創意和 top_p 用於多樣性。我們的 API 支援標準參數。根據您的用例調整它們。例如，使用 temperature=0.2 用於事實性回應和 temperature=0.9 用於創意寫作。

5. 忽略串流響應解析

串流回應隨著 token 生成而交付。這改善了使用者體驗，但需要仔細解析。您必須處理最後一個區塊以獲取 token 使用量資料。如果您只處理內容 token，就會錯過成本指標。

我們的 API 在流的最後一個數據塊中發送使用數據。您必須解析該數據塊以追蹤您的令牌消耗。忽略中間數據塊中的使用數據。這種方法確保了準確的計費和監控。流式傳輸對於實時應用至關重要。

6. 誤解 '拒絕' 行為

Abliterated 模型很少拒絕，但它們並非不受約束。如果輸入超過 token 限制或包含無效的 JSON，它們仍可能拒絕。它們也會拒絕涉及未成年人的性內容，因為這是硬性限制。這種拒絕是基於內容政策，而非模型能力。

了解拒絕與錯誤的區別。拒絕表示模型選擇不回答。錯誤表示請求格式不正確。請檢查回應狀態碼以區分兩者。我們的 API 對未成年人性內容實施硬性限制。其他所有主題均允許。

7. Not Optimizing for Function Calling

函式呼叫允許模型返回結構化資料。這有助於 API 整合和資料擷取。然而，abliterated 模型可能會優先考慮自然語言而非嚴格的 JSON。這可能導致格式不良的 JSON 回應。

為最佳化函式呼叫，請使用 response_format={"type": "json_object"}. 這可強制模型輸出有效的 JSON。您也可以使用 tool_choice 指定要呼叫的函式。徹底測試您的函式以確保可靠性。我們的 API 支援完整的函式呼叫功能。

8. Assuming Unlimited Concurrent Requests

API 有速率限制以確保穩定性。我們的 API 允許每個金鑰每分鐘 300 次請求。它也允許 8 個併發請求。超過這些限制將導致 429 錯誤。您必須實施帶有指數退避的重試邏輯。

監控您的使用情況以避免觸及限制。如果需要更高的併發性，請使用多個 API 金鑰。每個金鑰都有各自的使用限制。這種方法可有效擴展您的應用程式。根據這些限制規劃您的請求量。

9. 忘記準確檢查 Token 成本

Token 定價基於輸入與輸出 Token。輸入 Token 的價格為每 1M 個 Token $0.15。輸出 Token 的價格為每 1M 個 Token $0.50。輸出 Token 較為昂貴。長回應會顯著增加成本。

追蹤您的 token 使用量以管理您的預算。使用最後一個串流區塊的使用量數據。預付額度按實際使用量扣款。錯誤免費。這種定價模型透明且公平。定期監控您的使用量，以避免意外費用。