API Qwen: ข้อผิดพลาดทั่วไปและวิธีหลีกเลี่ยง

1. ความเข้าใจผิดเกี่ยวกับ Context Window

หน้าต่างบริบทกำหนดพื้นที่ทั้งหมดที่มีให้สำหรับทั้งคำสั่งนำเข้าของคุณและคำตอบของโมเดล นักพัฒนาหลายคนเข้าใจว่าขีดจำกัดนี้ใช้กับข้อมูลนำเข้าเท่านั้น แต่หน้าต่างบริบทรวมถึงทั้งสองส่วน ตัวอย่างเช่น ขีดจำกัด 100,000 โทเค็นหมายความว่าคุณต้องหักลบขนาดผลลัพธ์ที่คาดหวังออกจากพื้นที่ข้อมูลนำเข้าที่มีอยู่ หากคุณส่งคำสั่งขนาด 90,000 โทเค็นและขอผลลัพธ์ขนาด 20,000 โทเค็น คำขอจะล้มเหลวหรือถูกตัดทอน

ข้อจำกัดนี้สำคัญมากเมื่อประมวลผลเอกสารขนาดใหญ่หรือประวัติการสนทนาที่ยาวนาน คุณต้องคำนวณพื้นที่ที่เหลือแบบไดนามิก API ของเราบังคับใช้ขีดจำกัดรวม 100,000 โทเค็นสำหรับพรอมต์และคอมพลีชัน ควรสงวนอย่างน้อย 2,048 โทเค็นสำหรับเอาต์พุตเริ่มต้นเพื่อหลีกเลี่ยงข้อผิดพลาดขอบเขต

2. การละเลยขีดจำกัดโทเคนในเอาต์พุต

ทุกการเรียก API มีความยาวผลลัพธ์สูงสุด หากไม่ระบุขีดจำกัด โมเดลจะกำหนดค่าเริ่มต้นที่ 2,048 โทเค็น การส่งคำขอที่ยาวมากโดยไม่ตั้งค่า max_tokens อาจนำไปสู่การตัดข้อความที่ไม่คาดคิด โมเดลจะหยุดการสร้างข้อความเมื่อถึงขีดจำกัด ทำให้ข้อความตอบกลับของคุณไม่สมบูรณ์

พฤติกรรมนี้สอดคล้องกับ LLM ส่วนใหญ่ รวมถึงรุ่นที่ไม่มีเซนเซอร์ คุณต้องตั้งค่า max_tokens พารามิเตอร์สำหรับควบคุมความยาวของผลลัพธ์ ตัวอย่างเช่น หากคุณต้องการบทความความยาว 10,000 tokens คุณต้องตั้งค่า max_tokens=10000. การไม่ทำเช่นนั้นจะเสียโทเคนไปกับผลลัพธ์สั้นๆ และจำเป็นต้องเรียกใช้ครั้งที่สองเพื่อดำเนินการต่อ

• ตั้งค่า max_tokens อย่างชัดเจนสำหรับคำตอบที่ยาว
• ผลลัพธ์ค่าเริ่มต้นคือ 2,048 tokens หากไม่ได้กำหนด
• โทเค็นเอาท์พุตนับรวมในหน้าต่างบริกลรวมของคุณ

3. ความสับสนระหว่าง Abliterated กับ Qwen มาตรฐาน

โมเดล Abliterated ถูกดัดแปลงเพื่อลบตัวกระตุ้นการปฏิเสธ แต่ยังคงเป็นสถาปัตยกรรมฐานของ Qwen อยู่ ไม่ได้เพิ่มความสามารถหรือความรู้ใหม่ ความแตกต่างหลักอยู่ที่พฤติกรรม: โมเดล Abliterated ตอบหัวข้อที่ถกเถียงหรือเนื้อหาสำหรับผู้大人 โดยไม่ลังเล ในขณะที่โมเดล Qwen มาตรฐานอาจปฏิเสธหรือให้คำตอบทั่วไปสำหรับหัวข้อดังกล่าว

ความแตกต่างนี้สำคัญสำหรับบทบาทสมมติและการเขียนเชิงสร้างสรรค์ หากคุณต้องการโมเดลที่สามารถมีส่วนร่วมในหัวข้อใดก็ได้ ให้ใช้รูปแบบ Abliterated อย่างไรก็ตาม เหตุผลและตรรกะพื้นฐานยังคงเหมือนเดิม คุณไม่สามารถคาดหวังว่าโมเดล Abliterated จะฉลาดหรือเร็วกว่านี้ มันเพียงแต่ไม่ปฏิเสธ ตรวจสอบการ์ดโมเดลสำหรับรายละเอียดเวอร์ชันเฉพาะ

4. สมมติว่าพารามิเตอร์มาตรฐานของ OpenAI ทำงานเหมือนกัน

API ที่เข้ากันได้กับ OpenAI รับพารามิเตอร์มาตรฐานเช่น temperature และ top_p. อย่างไรก็ตาม ผลกระทบของพารามิเตอร์เหล่านี้อาจแตกต่างกันระหว่างโมเดล อุณหภูมิ 0.7 ในโมเดลหนึ่งอาจสร้างความสร้างสรรค์ระดับต่างกันในโมเดลอื่น โมเดลไร้เซนเซอร์มักตอบสนองต่ออุณหภูมิที่สูงกว่าได้ดีกว่าสำหรับบทบาทสมมติ

ทดลองใช้พารามิเตอร์เพื่อหาจุดสมดุลที่เหมาะสม ใช้ temperature สำหรับความคิดสร้างสรรค์และ top_p สำหรับความหลากหลาย API ของเรารองรับพารามิเตอร์มาตรฐาน ปรับค่าตามกรณีการใช้งานของคุณ ตัวอย่างเช่น ใช้ temperature=0.2 สำหรับคำตอบเชิงข้อเท็จจริงและ temperature=0.9 สำหรับการเขียนเชิงสร้างสรรค์

5. Overlooking Streaming Response Parsing

การตอบแบบสตรีมส่งโทเค็นขณะที่กำลังสร้างข้อมูล สิ่งนี้ปรับปรุงประสบการณ์ผู้ใช้ แต่ต้องการการวิเคราะห์อย่างระมัดระวัง คุณต้องจัดการส่วนสุดท้ายเพื่อรับข้อมูลการใช้งานโทเค็น หากคุณประมวลผลเฉพาะโทเค็นเนื้อหา คุณจะพลาดเมตริกต้นทุน

API ของเราส่งข้อมูลการใช้งานในชิ้นข้อมูลสุดท้ายของสตรีม คุณต้องแยกชิ้นข้อมูลนี้ออกเพื่อติดตามการบริโภคโทเค็นของคุณ ละเว้นข้อมูลการใช้งานในชิ้นข้อมูลกลางๆ วิธีการนี้รับประกันการเรียกเก็บเงินและการตรวจสอบที่แม่นยำ การสตรีมเป็นสิ่งจำเป็นสำหรับแอปพลิเคชันแบบเรียลไทม์

6. การตีความพฤติกรรม 'Refusal' ผิดพลาด

โมเดล Abliterated แทบไม่ปฏิเสธ แต่ไม่ได้ปราศจากข้อจำกัดทั้งหมด พวกมันอาจปฏิเสธหากอินพุตเกินขีดจำกัดโทเค็นหรือมี JSON ไม่ถูกต้อง พวกมันยังปฏิเสธเนื้อหาทางเพศที่เกี่ยวข้องกับเด็กเนื่องจากเป็นข้อจำกัดที่ตายตัว การปฏิเสธนี้ขึ้นอยู่กับนโยบายเนื้อหา ไม่ใช่ความสามารถของโมเดล

ทำความเข้าใจความแตกต่างระหว่างการปฏิเสธและข้อผิดพลาด การปฏิเสธหมายถึงโมเดลเลือกที่จะไม่ตอบ ข้อผิดพลาดหมายถึงการร้องขอไม่ถูกต้อง ตรวจสอบรหัสสถานะการตอบกลับเพื่อแยกแยะระหว่างสองสิ่งนี้ API ของเราบังคับใช้ขีดจำกัดแข็งสำหรับเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก หัวข้ออื่นๆ อนุญาตทั้งหมด

7. ไม่ปรับให้เหมาะสมสำหรับการเรียกใช้ฟังก์ชัน

การเรียกใช้ฟังก์ชันช่วยให้โมเดลส่งข้อมูลที่มีโครงสร้าง ซึ่งเหมาะสำหรับการผสานรวม API และการแยกข้อมูล อย่างไรก็ตาม โมเดลที่ผ่านการลบเนื้อหาอาจให้ความสำคัญกับภาษาธรรมชาติมากกว่า JSON ที่เข้มงวด ซึ่งอาจนำไปสู่การตอบสนอง JSON ที่ผิดรูปแบบ

เพื่อปรับปรุงการทำงานของฟังก์ชันคอลลิง ให้ใช้ response_format={"type": "json_object"}. สิ่งนี้บังคับให้โมเดลเอาต์พุต JSON ที่ถูกต้อง คุณยังสามารถใช้ tool_choice เพื่อระบุฟังก์ชันที่จะเรียก ทดสอบฟังก์ชันของคุณอย่างละเอียดเพื่อให้แน่ใจถึงความน่าเชื่อถือ API ของเรารองรับความสามารถในการเรียกใช้ฟังก์ชันแบบเต็มรูปแบบ

8. การสันนิษฐานว่ามีการร้องขอพร้อมกันได้ไม่จำกัด

APIs มีขีดจำกัดอัตราเพื่อรับประกันความเสถียร API ของเราอนุญาตคำขอได้ 300 คำขอต่อนาทีต่อคีย์ และอนุญาตคำขอพร้อมกันได้ 8 คำขอ การเกินขีดจำกัดเหล่านี้จะส่งผลให้เกิดข้อผิดพลาด 429 คุณต้องตรรกะการลองใหม่ด้วยการลองใหม่แบบทวีคูณ

ติดตามการใช้งานของคุณเพื่อหลีกเลี่ยงการชนขีดจำกัด ใช้คีย์ API หลายตัวหากคุณต้องการความพร้อมใช้งาน (concurrency) ที่สูงขึ้น แต่ละคีย์มีขีดจำกัดของตัวเอง วิธีการนี้ช่วยปรับขนาดแอปพลิเคชันของคุณได้อย่างมีประสิทธิภาพ วางแผนปริมาณคำขอของคุณตามข้อจำกัดเหล่านี้

9. ลืมตรวจสอบต้นทุนโทเค็นอย่างแม่นยำ

การกำหนดราคาโทเค็นขึ้นอยู่กับโทเค็นป้อนข้อมูลและโทเค็นผลลัพธ์ โทเค็นป้อนข้อมูลมีราคา $0.15 ต่อ 1M โทเค็น โทเค็นผลลัพธ์มีราคา $0.50 ต่อ 1M โทเค็น โทเค็นผลลัพธ์มีราคาแพงกว่า คำตอบที่ยาวจะเพิ่มต้นทุนอย่างมีนัยสำคัญ

ติดตามการใช้งาน tokens ของคุณเพื่อจัดการงบประมาณของคุณ ใช้ข้อมูลการใช้งานจาก chunk สตรีมสุดท้าย เครดิตพรีเพดจะถูกหักตามการใช้งานจริง ข้อผิดพลาดนั้นฟรี โมเดลราคานี้โปร่งใสและเป็นธรรม ตรวจสอบการใช้งานของคุณเป็นประจำเพื่อหลีกเลี่ยงค่าใช้จ่ายที่ไม่คาดคิด