API Qwen: Kesalahan Umum dan Cara Menghindarinya

1. Kesalahpahaman tentang Jendela Konteks

Jendela konteks menentukan total ruang yang tersedia untuk prompt input Anda dan respons model. Banyak pengembang mengira batas ini hanya berlaku untuk input, tetapi jendela konteks mencakup keduanya. Sebagai contoh, batas 100.000 token berarti Anda harus mengurangi ukuran output yang diharapkan dari ruang input yang tersedia. Jika Anda mengirim prompt 90.000 token dan meminta respons 20.000 token, permintaan akan gagal atau terpotong.

Batasan ini sangat penting saat memproses dokumen besar atau riwayat percakapan panjang. Anda harus menghitung ruang yang tersisa secara dinamis. API kami memberlakukan batas gabungan 100,000 token untuk prompt dan penyelesaian. Selalu sisihkan setidaknya 2,048 token untuk output default untuk menghindari kesalahan batas.

2. Mengabaikan Batas Token dalam Output

Setiap permintaan API memiliki panjang output maksimum. Jika Anda tidak menentukan batas, model secara default menggunakan 2.048 token. Mengirim prompt yang sangat panjang tanpa mengatur max_tokens dapat menyebabkan pemotongan yang tidak terduga. Model berhenti menghasilkan begitu mencapai batas, meninggalkan respons Anda tidak lengkap.

Perilaku ini konsisten di sebagian besar LLM, termasuk varian tanpa sensor. Anda harus secara eksplisit mengatur max_tokens parameter untuk mengontrol panjang output. Misalnya, jika Anda memerlukan esai sepanjang 10.000 token, Anda harus mengatur max_tokens=10000. Gagal melakukan hal ini membuang token pada output pendek dan memerlukan panggilan kedua untuk melanjutkan.

• Atur max_tokens secara eksplisit untuk respons panjang.
• Output default adalah 2.048 token jika tidak ditentukan.
• Token output dihitung terhadap jendela konteks total Anda.

3. Mengaburkan Abliterated dengan Qwen Standar

Model abliterated dimodifikasi untuk menghilangkan picit penolakan, tetapi tetap menjadi arsitektur Qwen dasar. Mereka tidak mendapatkan kemampuan atau pengetahuan baru. Perbedaan utamanya terletak pada perilaku: model abliterated menjawab topik kontroversial atau dewasa tanpa ragu. Model Qwen standar mungkin menolak atau memberikan jawaban generik untuk topik tersebut.

Perbedaan ini penting untuk roleplay dan penulisan kreatif. Jika Anda membutuhkan model yang terlibat dengan topik apa pun, gunakan varian abliterated. Namun, penalaran dan logika dasarnya tetap sama. Anda tidak mengharapkan model abliterated lebih pintar atau lebih cepat. Model ini hanya tidak mengatakan tidak. Periksa kartu model untuk detail versi spesifik.

4. Mengasumsikan Parameter OpenAI Standar Bekerja Secara Identik

API OpenAI-compatible menerima parameter standar seperti temperature dan top_p. Namun, efek parameter ini dapat bervariasi antar model. Suhu 0.7 pada satu model mungkin menghasilkan tingkat kreativitas yang berbeda pada model lain. Model tanpa sensor sering kali merespons lebih baik terhadap suhu lebih tinggi untuk roleplay.

Bereksperimenlah dengan parameter untuk menemukan keseimbangan yang tepat. Gunakan temperature untuk kreativitas dan top_p untuk keragaman. API kami mendukung parameter standar. Sesuaikan parameter tersebut berdasarkan kasus penggunaan Anda. Sebagai contoh, gunakan temperature=0.2 untuk respons faktual dan temperature=0.9 untuk penulisan kreatif.

5. Mengabaikan Parsing Respons Streaming

Respons streaming mengirimkan token saat dihasilkan. Ini meningkatkan pengalaman pengguna tetapi memerlukan parsing yang hati-hati. Anda harus menangani potongan terakhir untuk mendapatkan data penggunaan token. Jika Anda hanya memproses token konten, Anda melewatkan metrik biaya.

API kami mengirim data penggunaan di bagian terakhir dari aliran. Anda harus mengurai bagian ini untuk melacak konsumsi token Anda. Abaikan data penggunaan di bagian antara. Pendekatan ini memastikan penagihan dan pemantauan yang akurat. Streaming sangat penting untuk aplikasi waktu nyata.

6. Menafsirkan Salah Perilaku 'Penolakan'

Model ablirasi jarang menolak, tetapi mereka tidak kebal terhadap batasan. Mereka mungkin masih menolak jika input melebihi batas token atau berisi JSON yang tidak valid. Mereka juga menolak konten seksual yang melibatkan anak di bawah umur, karena ini adalah batas keras. Penolakan ini didasarkan pada kebijakan konten, bukan kemampuan model.

Memahami perbedaan antara penolakan dan kesalahan. Penolakan berarti model memilih untuk tidak menjawab. Kesalahan berarti permintaan tidak valid. Periksa kode status respons untuk membedakan keduanya. API kami memberlakukan batas keras pada konten seksual anak di bawah umur. Semua topik lain diperbolehkan.

7. Tidak Mengoptimalkan untuk Panggilan Fungsi

Pemanggilan fungsi memungkinkan model mengembalikan data terstruktur. Ini berguna untuk integrasi API dan ekstraksi data. Namun, model abliterated mungkin lebih mengutamakan bahasa alami daripada JSON yang ketat. Hal ini dapat menyebabkan respons JSON yang tidak terbentuk dengan baik.

Untuk mengoptimalkan pemanggilan fungsi, gunakan response_format={"type": "json_object"}. Ini memaksa model untuk menghasilkan JSON yang valid. Anda juga dapat menggunakan tool_choice untuk menentukan fungsi mana yang akan dipanggil. Uji fungsi Anda secara menyeluruh untuk memastikan keandalan. API kami mendukung kemampuan pemanggilan fungsi penuh.

8. Mengasumsikan Permintaan Konkuren Tanpa Batas

API memiliki batas laju untuk memastikan stabilitas. API kami memungkinkan 300 permintaan per menit per kunci. Ini juga memungkinkan 8 permintaan konkuren. Melebihi batas ini menghasilkan kesalahan 429. Anda harus menerapkan logika ulang dengan backoff eksponensial.

Pantau penggunaan Anda untuk menghindari batas. Gunakan beberapa kunci API jika Anda membutuhkan konkurensi yang lebih tinggi. Setiap kunci memiliki batasnya sendiri. Pendekatan ini menskalakan aplikasi Anda secara efektif. Rencanakan volume permintaan Anda berdasarkan kendala ini.

9. Lupa Memeriksa Biaya Token Secara Akurat

Harga token didasarkan pada token input dan output. Token input berharga $0.15 per 1M token. Token output berharga $0.50 per 1M token. Token output lebih mahal. Respons yang panjang secara signifikan meningkatkan biaya.

Lacak penggunaan token Anda untuk mengelola anggaran Anda. Gunakan data penggunaan dari potongan streaming terakhir. Kredit prabayar dibebankan berdasarkan penggunaan aktual. Kesalahan gratis. Model harga ini transparan dan adil. Pantau penggunaan Anda secara teratur untuk menghindari biaya yang tidak terduga.