Apa yang diberikan streaming
Tanpa streaming, API menahan seluruh jawaban hingga model selesai, lalu mengirimkannya sebagai satu tubuh JSON. Untuk balasan panjang, ini bisa berarti beberapa detik layar kosong. Dengan stream: true, server mengirimkan jawaban yang sama sebagai serangkaian peristiwa kecil, masing-masing membawa beberapa karakter balasan, dan UI Anda dapat mencetaknya saat tiba.
Format kawat adalah server-sent events (SSE) di atas respons HTTP normal. Setiap peristiwa adalah baris yang dimulai dengan data: diikuti oleh potongan JSON, dan stream berakhir dengan data: [DONE]. Anda jarang mengurai ini secara manual, karena SDK OpenAI melakukannya untuk Anda. Jika ingin melihat byte mentah, ikhtisar pengembang menunjukkan tata letak endpoint dan dokumentasi API mencantumkan setiap parameter.
Ada dua hal yang perlu diputuskan sebelum menulis kode. Pertama, siapa yang membaca stream: browser yang berbicara ke server Anda, atau server Anda saja. Kedua, apa yang Anda lakukan ketika koneksi terputus di tengah jalan. Sisa halaman ini membahas keduanya.
Python: streaming dengan SDK OpenAI
Instal SDK dengan pip install openai, buat klien dengan base URL Anda, dan teruskan stream=True. ID model adalah uncensored.
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmapi.com/v1",
api_key="YOUR_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about rain."}],
stream=True,
)
text = []
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
text.append(piece)
print(piece, end="", flush=True)
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
print("tokens:", usage)
Perhatikan pengaman chunk.choices and .... Potongan terakhir yang membawa penggunaan dapat memiliki daftar choices kosong, dan pengindeksan ke dalamnya akan menyebabkan kesalahan. Mengumpulkan potongan dalam daftar dan menggabungkannya di akhir juga lebih murah daripada penggabungan string berulang pada balasan panjang.
Node: panggilan yang sama dalam JavaScript
Dengan paket openai resmi untuk Node, stream adalah iterator asinkron. Contoh ini menggunakan modul ES.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmapi.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Name three uses for a stream." }],
stream: true,
});
let full = "";
let usage = null;
for await (const chunk of stream) {
const piece = chunk.choices?.[0]?.delta?.content;
if (piece) {
full += piece;
process.stdout.write(piece);
}
if (chunk.usage) usage = chunk.usage;
}
console.log("\nusage:", usage);
Jika Anda tidak ingin menggunakan SDK, fetch juga berfungsi: kirimkan body JSON yang sama dengan stream: true, lalu baca response.body dengan TextDecoder dan pisahkan berdasarkan baris kosong. SDK menghemat Anda dari menangani event yang terpotong di batas potongan, yang merupakan bug umum pada parser yang ditulis tangan.
Membaca penggunaan dan saldo
Penggunaan dilaporkan di akhir stream. Itulah angka yang harus Anda log untuk pelacakan biaya, karena itu adalah yang dibebankan terhadap saldo Anda. Pada $0,15 per 1M token input dan $0,50 per 1M token output, balasan dengan 1.200 token input dan 800 token output biayanya adalah 1.200 x 0,15 / 1.000.000 + 800 x 0,50 / 1.000.000 = $0,00018 + $0,0004 = $0,00058.
Setiap respons juga membawa header X-Balance-USD dengan sisa saldo Anda, sehingga Anda dapat menampilkan peringatan saldo rendah tanpa permintaan kedua. Anda juga dapat memanggil GET /v1/balance secara berkala. Permintaan yang gagal atau ditolak tidak dikenakan biaya, yang berarti error sebelum token pertama tidak membebani biaya.
Header respons yang sama mencakup X-Request-Id. Simpan di samping baris log Anda sendiri untuk setiap stream. Jika stream berperilaku aneh, ID itulah yang Anda berikan kepada dukungan agar permintaan dapat ditemukan.
Stream yang terputus dan cara mengatasinya
Stream dapat putus. Ponsel beralih dari Wi-Fi ke data seluler, proxy menutup koneksi yang tidak aktif, pengguna menutup tab. Rencanakan sejak awal.
Simpan teks parsial
Lampirkan setiap potongan ke buffer saat tiba, dan simpan buffer saat loop berakhir atau melempar exception. Jika stream gagal, Anda memiliki setengah balasan yang dapat digunakan. Tampilkan dengan tombol percobaan ulang daripada membuangnya.
Coba lagi atau lanjutkan
Pemulihan paling sederhana adalah mengirim ulang permintaan asli. Untuk balasan pendek, ini baik-baik saja. Untuk balasan panjang, Anda dapat mengirimkan teks parsial yang disimpan sebagai pesan asisten dan meminta model untuk melanjutkan dari tempat ia berhenti. Hasilnya mungkin tidak sesuai dengan apa yang akan dihasilkan stream pertama, jadi perlakukan sebagai upaya terbaik dan beri label di UI Anda jika keakuratan penting.
Tutup apa yang Anda tinggalkan
Permintaan streaming menempati slot konkurensinya hingga stream berakhir. Kunci penuh memungkinkan 8 permintaan sekaligus, dan kunci uji coba hanya 2. Jika server Anda terus membaca stream untuk pengguna yang telah pergi, slot itu tetap sibuk. Batalkan permintaan saat klien terputus. Di Python, panggil stream.close(); di Node, panggil stream.controller.abort().
Meneruskan stream ke browser
Jangan pernah menempatkan kunci API Anda dalam kode browser. Penyiapan umum adalah endpoint kecil di server Anda sendiri yang memanggil API dengan stream: true dan meneruskan setiap potongan ke halaman. Di Node dengan Express, atur Content-Type: text/event-stream, tulis setiap potongan sebagai data: ... diikuti baris kosong, dan dengarkan peristiwa close pada permintaan untuk membatalkan panggilan hulu. Di halaman, EventSource menangani endpoint GET, sementara fetch dengan pembaca menangani body POST, yang merupakan yang Anda butuhkan saat mengirim riwayat pesan.
Simpan riwayat pesan di server Anda atau dalam tubuh permintaan, dan pangkas putaran tertua ketika percakapan menjadi panjang. Jendela konteks adalah 100.000 token untuk prompt plus penyelesaian, yang merupakan banyak chat, tetapi sesi jangka panjang akan mencapainya pada akhirnya.
Batas laju saat streaming
Batasnya adalah 300 permintaan per menit dan 8 permintaan konkuren pada kunci penuh, dan 60 per menit serta 2 konkuren pada kunci uji coba. Melebihi batas akan mengembalikan HTTP 429. Kode error memberi tahu Anda batas mana yang Anda capai: rate_limited berarti terlalu banyak permintaan per menit, dan concurrency berarti terlalu banyak sekaligus. Saat kelebihan beban sementara, API juga mengembalikan 429 dengan header Retry-After: 5.
Karena 429 tiba sebelum token mana pun dialirkan, tangani sebelum Anda mulai membaca. Pembungkus percobaan ulang kecil sudah cukup:
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.uncensoredllmapi.com/v1", api_key="YOUR_KEY")
def open_stream(messages, tries=4):
for n in range(tries):
try:
return client.chat.completions.create(
model="uncensored", messages=messages, stream=True
)
except RateLimitError as e:
wait = 5 if n == 0 else 5 * (n + 1)
time.sleep(wait)
raise RuntimeError("still rate limited")
Untuk aplikasi chat dengan banyak pengguna, perbaikan nyata untuk error concurrency adalah antrian kecil di sisi Anda yang memungkinkan tidak lebih dari 8 stream aktif pada satu waktu.
Daftar periksa sebelum meluncurkan chat streaming
- Hindari
choiceskosong di chunk terakhir. - Buffer teks parsial dan simpan pada kesalahan.
- Batalkan permintaan upstream saat browser terputus.
- Batasi stream aktif pada batas konkurensi Anda.
- Catat penggunaan dan ID permintaan per stream.
- Matikan buffering respons pada setiap proxy terbalik di depan server Anda, atau token akan tiba secara burst.
Poin terakhir sering membuat gagal banyak peluncuran pertama. Nginx, misalnya, melakukan buffering respons proxy secara default, sehingga stream berfungsi di localhost dan terlihat membeku di produksi sampai buffering dinonaktifkan untuk rute tersebut. Untuk output JSON alih-alih teks bebas, lihat catatan tentang mode JSON. Untuk mencoba kode di atas, buat kunci API; akun baru dapat mengklaim $0,50 kredit uji coba dengan satu klik, berlaku selama 7 hari. Top-up hanya kripto (USDT di TRC20 atau USDC di Base), mulai $20.
