API Qwen: Kesilapan Biasa dan Cara Mengelakinya

1. Memahami Tetingkap Konteks

Jendela konteks menentukan jumlah ruang yang tersedia untuk kedua-dua prompt input anda dan respons model. Ramai pembangun menganggap had ini hanya terpakai untuk input, tetapi jendela merangkumi kedua-duanya. Sebagai contoh, had 100,000 token bermaksud anda mesti menolak saiz output yang dijangka daripada ruang input yang tersedia. Jika anda menghantar prompt 90,000 token dan meminta respons 20,000 token, permintaan akan gagal atau dipotong.

Pengekangan ini kritikal apabila memproses dokumen besar atau sejarah perbualan panjang. Anda mesti mengira ruang yang tinggal secara dinamik. API kami mengenakan had gabungan 100,000 token untuk permintaan dan penyelesaian. Sentiasa peruntukkan sekurang-kurangnya 2,048 token untuk output lalai untuk mengelakkan r sempadan.

2. Mengabaikan Had Token dalam Output

Setiap permintaan API mempunyai panjang output maksimum. Jika anda tidak menentukan had, model akan menggunakan lalai 2,048 token. Menghantar prompt yang sangat panjang tanpa menetapkan max_tokens boleh menyebabkan pemotongan tidak dijangka. Model berhenti menjana apabila mencapai had, meninggalkan respons anda tidak lengkap.

Perilaku ini adalah konsisten merentasi kebanyakan LLM, termasuk varian tanpa sensor. Anda mesti menetapkan secara eksplisit max_tokens parameter untuk mengawal panjang output. Sebagai contoh, jika anda memerlukan esei 10,000 token, anda mesti menetapkan max_tokens=10000. Gagal berbuat demikian akan membazir token pada output pendek dan memerlukan panggilan kedua untuk meneruskan.

• Tetapkan max_tokens secara eksplisit untuk respons panjang.
• Output lalai ialah 2,048 token jika tidak dinyatakan.
• Token output dikira terhadap tetingkap konteks total anda.

3. Membingungkan Abliterated dengan Qwen Standard

Model abliterated diubah suai untuk memadam pencetus penolakan, tetapi mereka kekal sebagai seni bina asas Qwen. Mereka tidak memperoleh keupayaan atau pengetahuan baru. Perbezaan utama adalah pada tingkah laku: model abliterated menjawab topik kontroversi atau dewasa tanpa ragu-ragu. Model Qwen standard mungkin menolak atau memberikan jawapan umum kepada topik sedemikian.

Perbezaan ini penting untuk peranan dan penulisan kreatif. Jika anda memerlukan model yang terlibat dengan mana-mana topik, gunakan varian yang diblur. Walau bagaimanapun, penalaran dan logik asas kekal sama. Anda tidak boleh mengharapkan model yang diblur menjadi lebih pintar atau lebih pantas. Ia hanya tidak berkata tidak. Semak kad model untuk butiran versi khusus.

4. Mengandaikan Parameter OpenAI Standard Berfungsi Sama

API sepadan OpenAI menerima parameter standard seperti temperature dan top_p. Walau bagaimanapun, kesan parameter ini boleh berbeza antara model. Suhu 0.7 dalam satu model mungkin menghasilkan tahap kreativiti yang berbeza dalam model lain. Model tanpa sensor sering bertindak balas lebih baik terhadap suhu yang lebih tinggi untuk peranan.

Eksperimen dengan parameter untuk mencari keseimbangan yang tepat. Gunakan temperature untuk kreativiti dan top_p untuk kepelbagaian. API kami menyokong parameter standard. Laraskan mereka berdasarkan kes penggunaan anda. Sebagai contoh, gunakan temperature=0.2 untuk respons faktual dan temperature=0.9 untuk penulisan kreatif.

5. Mengabaikan Penafsiran Respons Streaming

Respons penstriman menghantar token semasa ia dijana. Ini meningkatkan pengalaman pengguna tetapi memerlukan penguraian yang teliti. Anda mesti mengendalikan bahagian akhir untuk mendapatkan data penggunaan token. Jika anda hanya memproses token kandungan, anda terlepas metrik kos.

API kami menghantar data penggunaan dalam bahagian terakhir aliran. Anda mesti menguraikan bahagian ini untuk menjejakan penggunaan token anda. Abaikan data penggunaan dalam bahagian antara. Pendekatan ini memastikan bil dan pemantauan yang tepat. Aliran adalah penting untuk aplikasi masa nyata.

6. Menafsirkan 'Penolakan' dengan Salah

Model abliterated jarang menolak, tetapi mereka tidak kebal terhadap kekangan. Mereka mungkin masih menolak jika input melebihi had token atau mengandungi JSON tidak sah. Mereka juga menolak kandungan seksual melibatkan kanak-kanak, kerana ini adalah had keras. Penolakan ini berdasarkan dasar kandungan, bukan keupayaan model.

Memahami perbezaan antara penolakan dan ralat. Penolakan bermaksud model memilih untuk tidak menjawab. Ralat bermaksud permintaan tidak sah. Semak kod status respons untuk membezakan antara keduanya. API kami mengenakan had keras pada kandungan seksual kanak-kanak. Semua topik lain dibenarkan.

7. Tidak Dioptimumkan Untuk Panggilan Fungsi

Pemanggilan fungsi membolehkan model memulangkan data terstruktur. Ini berguna untuk integrasi API dan pengekstrakan data. Walau bagaimanapun, model yang telah dibersihkan mungkin mengutamakan bahasa semula jadi berbanding JSON yang ketat. Ini boleh membawa kepada respons JSON yang rosak.

Untuk mengoptimumkan panggilan fungsi, gunakan response_format={"type": "json_object"}. Ini memaksa model menghasilkan JSON yang sah. Anda juga boleh menggunakan tool_choice untuk menentukan fungsi mana yang akan dipanggil. Uji fungsi anda dengan teliti untuk memastikan kebolehpercayaan. API kami menyokong keupayaan panggilan fungsi penuh.

8. Mengandaikan Permintaan Serentak Tanpa Had

API mempunyai had kadar untuk memastikan kestabilan. API kami membenarkan 300 permintaan per minit per kunci. Ia juga membenarkan 8 permintaan serentak. Melebihi had ini akan menghasilkan ralat 429. Anda mesti melaksanakan logik cubaan semula dengan penangguhan eksponen.

Pantau penggunaan anda untuk mengelakkan mencapai had. Gunakan beberapa kunci API jika anda memerlukan kekonkurensan yang lebih tinggi. Setiap kunci mempunyai hadnya sendiri. Pendekatan ini meluaskan aplikasi anda dengan berkesan. Rancang isipadu permintaan anda berdasarkan kekangan ini.

9. Lupa untuk Mengira Kos Token dengan Tepat

Harga token berdasarkan token input dan output. Token input berharga $0.15 bagi setiap 1M token. Token output berharga $0.50 bagi setiap 1M token. Token output lebih mahal. Respons panjang meningkatkan kos dengan ketara.

Jejaki penggunaan token anda untuk mengurus bajet anda. Gunakan data penggunaan dari chunk aliran akhir. Kredit pra-dibayar didebit berdasarkan penggunaan sebenar. Ralat adalah percuma. Model harga ini telus dan adil. Pantau penggunaan anda secara berkala untuk mengelakkan caj yang tidak dijangka.