Qwen API：常见错误及避免方法

1. 误解上下文窗口

上下文窗口为输入提示词和模型回复提供的总空间。许多开发者误以为限制仅适用于输入，但窗口包含两者。例如，100,000 词元的限制意味着你必须从可用输入空间中减去预期的输出大小。如果你发送 90,000 词元的提示词并要求 20,000 词元的回复，请求将会失败或截断。

处理大型文档或长对话历史时，此限制至关重要。您必须动态计算剩余空间。我们的 API 对提示和补全的令牌总数强制执行 100,000 个令牌的限制。始终至少保留 2,048 个令牌用于默认输出，以避免边界错误。

2. 忽略输出中的 Token 限制

每次 API 请求都有最大输出长度限制。如果您未指定限制，模型默认输出 2,048 个 token。发送非常长的提示词而未设置 max_tokens 可能导致意外截断。模型在达到限制时停止生成，导致响应不完整。

这种行为在大多数 LLM 中都是一致的，包括无审查变体。您必须显式设置 max_tokens 用于控制输出长度的参数。例如，如果您需要一篇 10,000 token 的文章，您必须设置 max_tokens=10000. 如果不这样做，会导致短输出浪费 token，并且需要第二次调用才能继续。

• 设置 max_tokens 明确用于长响应。
• 如果未指定，默认输出为 2,048 个令牌。
• 输出 token 计入你的总上下文窗口。

3. 混淆 Abliterated 与标准 Qwen

Abliterated 模型经过修改以移除拒绝触发器，但它们仍然是基础的 Qwen 架构。它们不会获得新的功能或知识。主要区别在于行为：Abliterated 模型在回答争议性或成人主题时毫不犹豫。标准 Qwen 模型可能会拒绝此类主题或给出通用回答。

这一区别对于角色扮演和创意写作至关重要。如果你需要一个能与任何话题互动的模型，请使用消融变体。然而，底层的推理和逻辑保持不变。你不能期望消融模型更聪明或更快。它只是不说“不”。查看模型卡片以获取特定版本详情。

4. 假设标准 OpenAI 参数完全相同地工作

OpenAI 兼容 API 接受标准参数，例如 temperature 和 top_p. 然而，这些参数的效果可能因模型而异。一个模型中 0.7 的温度可能在另一个模型中产生不同的创造性水平。无审查模型通常在角色扮演中更适合较高的温度。

实验参数以找到最佳平衡。使用 temperature 用于创造力和 top_p 用于多样性。我们的 API 支持标准参数。根据您的用例进行调整。例如，使用 temperature=0.2 用于事实性回答以及 temperature=0.9 用于创意写作。

5. 忽略流式响应解析

流式响应在生成时交付 Token。这改善了用户体验，但需要仔细解析。您必须处理最后一个数据块以获取 Token 使用数据。如果您只处理内容 Token，就会错过成本指标。

我们的 API 在流式传输的最后一段发送使用数据。你必须解析该段以跟踪令牌消耗。忽略中间段中的使用数据。这种方法确保计费准确和监控有效。流式传输对于实时应用至关重要。

6. 误解'拒绝'行为

Abliterated 模型很少拒绝，但并非完全不受约束。如果输入超出 token 限制或包含无效的 JSON，它们仍可能拒绝。此外，它们会拒绝涉及未成年人的性内容，因为这是硬性限制。这种拒绝基于内容策略，而非模型能力。

理解拒绝和错误的区别。拒绝意味着模型选择不回答。错误意味着请求格式不正确。检查响应状态码以区分两者。我们的 API 对未成年人性内容强制执行硬性限制。其他所有主题均允许。

7. 未针对函数调用进行优化

函数调用允许模型返回结构化数据。这对于 API 集成和数据提取非常有用。然而，abliterated 模型可能会优先考虑自然语言而不是严格的 JSON。这可能导致格式错误的 JSON 响应。

为了优化函数调用，请使用 response_format={"type": "json_object"}. 这强制模型输出有效的 JSON。您还可以使用 tool_choice 指定要调用的函数。彻底测试您的函数以确保可靠性。我们的 API 支持完整的函数调用功能。

8. 假设并发请求无限制

API 有速率限制以确保稳定性。我们的 API 允许每个密钥每分钟 300 次请求。它还允许 8 个并发请求。超过这些限制将导致 429 错误。您必须实现带有指数退避的重试逻辑。

监控使用情况以避免触及限制。如果需要更高的并发性，请使用多个 API 密钥。每个密钥都有自己的限制。这种方法可有效扩展您的应用。根据这些限制规划您的请求量。

9. 忘记准确检查令牌成本

代币定价基于输入和输出代币。输入代币的成本为每 100 万代币 0.15 美元。输出代币的成本为每 100 万代币 0.50 美元。输出代币更昂贵。长回复会显著增加成本。

跟踪您的 token 使用情况以管理预算。使用最终流式传输块中的使用数据。预付额度按实际使用情况收费。错误免费。这种定价模型透明且公平。定期监控使用情况，以避免意外费用。