ID ▾
Dapatkan kunci API
API tanpa sensor yang kompatibel dengan OpenAI untuk pengembang.Diperbarui

Streaming API Kompatibel OpenAI di Python dan Node

Streaming API kompatibel OpenAI bekerja dengan cara yang sama di sini seperti saat menggunakan OpenAI: atur stream: true, arahkan SDK ke base URL kami, dan baca server-sent events saat tiba. Halaman ini memiliki kode Python dan Node yang berfungsi, serta cara menangani stream yang terputus.

Blok bersinar mengalir satu per satu dari server ke laptop, mengilustrasikan streaming token

Apa yang diberikan streaming

Tanpa streaming, API menahan seluruh jawaban hingga model selesai, lalu mengirimkannya sebagai satu tubuh JSON. Untuk balasan panjang, ini bisa berarti beberapa detik layar kosong. Dengan stream: true, server mengirimkan jawaban yang sama sebagai serangkaian peristiwa kecil, masing-masing membawa beberapa karakter balasan, dan UI Anda dapat mencetaknya saat tiba.

Format kawat adalah server-sent events (SSE) di atas respons HTTP normal. Setiap peristiwa adalah baris yang dimulai dengan data: diikuti oleh potongan JSON, dan stream berakhir dengan data: [DONE]. Anda jarang mengurai ini secara manual, karena SDK OpenAI melakukannya untuk Anda. Jika ingin melihat byte mentah, ikhtisar pengembang menunjukkan tata letak endpoint dan dokumentasi API mencantumkan setiap parameter.

Ada dua hal yang perlu diputuskan sebelum menulis kode. Pertama, siapa yang membaca stream: browser yang berbicara ke server Anda, atau server Anda saja. Kedua, apa yang Anda lakukan ketika koneksi terputus di tengah jalan. Sisa halaman ini membahas keduanya.

Python: streaming dengan SDK OpenAI

Instal SDK dengan pip install openai, buat klien dengan base URL Anda, dan teruskan stream=True. ID model adalah uncensored.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmapi.com/v1",
    api_key="YOUR_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about rain."}],
    stream=True,
)

text = []
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        piece = chunk.choices[0].delta.content
        text.append(piece)
        print(piece, end="", flush=True)
    if getattr(chunk, "usage", None):
        usage = chunk.usage

print()
print("tokens:", usage)

Perhatikan pengaman chunk.choices and .... Potongan terakhir yang membawa penggunaan dapat memiliki daftar choices kosong, dan pengindeksan ke dalamnya akan menyebabkan kesalahan. Mengumpulkan potongan dalam daftar dan menggabungkannya di akhir juga lebih murah daripada penggabungan string berulang pada balasan panjang.

Node: panggilan yang sama dalam JavaScript

Dengan paket openai resmi untuk Node, stream adalah iterator asinkron. Contoh ini menggunakan modul ES.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmapi.com/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Name three uses for a stream." }],
  stream: true,
});

let full = "";
let usage = null;
for await (const chunk of stream) {
  const piece = chunk.choices?.[0]?.delta?.content;
  if (piece) {
    full += piece;
    process.stdout.write(piece);
  }
  if (chunk.usage) usage = chunk.usage;
}
console.log("\nusage:", usage);

Jika Anda tidak ingin menggunakan SDK, fetch juga berfungsi: kirimkan body JSON yang sama dengan stream: true, lalu baca response.body dengan TextDecoder dan pisahkan berdasarkan baris kosong. SDK menghemat Anda dari menangani event yang terpotong di batas potongan, yang merupakan bug umum pada parser yang ditulis tangan.

Membaca penggunaan dan saldo

Penggunaan dilaporkan di akhir stream. Itulah angka yang harus Anda log untuk pelacakan biaya, karena itu adalah yang dibebankan terhadap saldo Anda. Pada $0,15 per 1M token input dan $0,50 per 1M token output, balasan dengan 1.200 token input dan 800 token output biayanya adalah 1.200 x 0,15 / 1.000.000 + 800 x 0,50 / 1.000.000 = $0,00018 + $0,0004 = $0,00058.

Setiap respons juga membawa header X-Balance-USD dengan sisa saldo Anda, sehingga Anda dapat menampilkan peringatan saldo rendah tanpa permintaan kedua. Anda juga dapat memanggil GET /v1/balance secara berkala. Permintaan yang gagal atau ditolak tidak dikenakan biaya, yang berarti error sebelum token pertama tidak membebani biaya.

Header respons yang sama mencakup X-Request-Id. Simpan di samping baris log Anda sendiri untuk setiap stream. Jika stream berperilaku aneh, ID itulah yang Anda berikan kepada dukungan agar permintaan dapat ditemukan.

Stream yang terputus dan cara mengatasinya

Stream dapat putus. Ponsel beralih dari Wi-Fi ke data seluler, proxy menutup koneksi yang tidak aktif, pengguna menutup tab. Rencanakan sejak awal.

Simpan teks parsial

Lampirkan setiap potongan ke buffer saat tiba, dan simpan buffer saat loop berakhir atau melempar exception. Jika stream gagal, Anda memiliki setengah balasan yang dapat digunakan. Tampilkan dengan tombol percobaan ulang daripada membuangnya.

Coba lagi atau lanjutkan

Pemulihan paling sederhana adalah mengirim ulang permintaan asli. Untuk balasan pendek, ini baik-baik saja. Untuk balasan panjang, Anda dapat mengirimkan teks parsial yang disimpan sebagai pesan asisten dan meminta model untuk melanjutkan dari tempat ia berhenti. Hasilnya mungkin tidak sesuai dengan apa yang akan dihasilkan stream pertama, jadi perlakukan sebagai upaya terbaik dan beri label di UI Anda jika keakuratan penting.

Tutup apa yang Anda tinggalkan

Permintaan streaming menempati slot konkurensinya hingga stream berakhir. Kunci penuh memungkinkan 8 permintaan sekaligus, dan kunci uji coba hanya 2. Jika server Anda terus membaca stream untuk pengguna yang telah pergi, slot itu tetap sibuk. Batalkan permintaan saat klien terputus. Di Python, panggil stream.close(); di Node, panggil stream.controller.abort().

Meneruskan stream ke browser

Jangan pernah menempatkan kunci API Anda dalam kode browser. Penyiapan umum adalah endpoint kecil di server Anda sendiri yang memanggil API dengan stream: true dan meneruskan setiap potongan ke halaman. Di Node dengan Express, atur Content-Type: text/event-stream, tulis setiap potongan sebagai data: ... diikuti baris kosong, dan dengarkan peristiwa close pada permintaan untuk membatalkan panggilan hulu. Di halaman, EventSource menangani endpoint GET, sementara fetch dengan pembaca menangani body POST, yang merupakan yang Anda butuhkan saat mengirim riwayat pesan.

Simpan riwayat pesan di server Anda atau dalam tubuh permintaan, dan pangkas putaran tertua ketika percakapan menjadi panjang. Jendela konteks adalah 100.000 token untuk prompt plus penyelesaian, yang merupakan banyak chat, tetapi sesi jangka panjang akan mencapainya pada akhirnya.

Batas laju saat streaming

Batasnya adalah 300 permintaan per menit dan 8 permintaan konkuren pada kunci penuh, dan 60 per menit serta 2 konkuren pada kunci uji coba. Melebihi batas akan mengembalikan HTTP 429. Kode error memberi tahu Anda batas mana yang Anda capai: rate_limited berarti terlalu banyak permintaan per menit, dan concurrency berarti terlalu banyak sekaligus. Saat kelebihan beban sementara, API juga mengembalikan 429 dengan header Retry-After: 5.

Karena 429 tiba sebelum token mana pun dialirkan, tangani sebelum Anda mulai membaca. Pembungkus percobaan ulang kecil sudah cukup:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.uncensoredllmapi.com/v1", api_key="YOUR_KEY")

def open_stream(messages, tries=4):
    for n in range(tries):
        try:
            return client.chat.completions.create(
                model="uncensored", messages=messages, stream=True
            )
        except RateLimitError as e:
            wait = 5 if n == 0 else 5 * (n + 1)
            time.sleep(wait)
    raise RuntimeError("still rate limited")

Untuk aplikasi chat dengan banyak pengguna, perbaikan nyata untuk error concurrency adalah antrian kecil di sisi Anda yang memungkinkan tidak lebih dari 8 stream aktif pada satu waktu.

Daftar periksa sebelum meluncurkan chat streaming

  • Hindari choices kosong di chunk terakhir.
  • Buffer teks parsial dan simpan pada kesalahan.
  • Batalkan permintaan upstream saat browser terputus.
  • Batasi stream aktif pada batas konkurensi Anda.
  • Catat penggunaan dan ID permintaan per stream.
  • Matikan buffering respons pada setiap proxy terbalik di depan server Anda, atau token akan tiba secara burst.

Poin terakhir sering membuat gagal banyak peluncuran pertama. Nginx, misalnya, melakukan buffering respons proxy secara default, sehingga stream berfungsi di localhost dan terlihat membeku di produksi sampai buffering dinonaktifkan untuk rute tersebut. Untuk output JSON alih-alih teks bebas, lihat catatan tentang mode JSON. Untuk mencoba kode di atas, buat kunci API; akun baru dapat mengklaim $0,50 kredit uji coba dengan satu klik, berlaku selama 7 hari. Top-up hanya kripto (USDT di TRC20 atau USDC di Base), mulai $20.

Tanya jawab

Apakah saya perlu SDK khusus untuk streaming?

Tidak. Paket Python dan Node standar OpenAI berfungsi. Ubah base URL, kunci, dan nama model menjadi uncensored, lalu kirimkan stream: true.

Bisakah saya melakukan streaming pada panggilan alat dan mode JSON?

Ya untuk panggilan alat: mereka di-stream sebagai delta tool_calls, dan Anda menggabungkan potongan-potongan tersebut sebelum mem-parsing argumennya. Uji stream mode JSON dengan cara yang sama, hanya mem-parsing setelah potongan terakhir.

Apakah saya dikenakan biaya untuk stream yang saya batalkan?

Permintaan yang gagal atau ditolak tidak dikenakan biaya. Untuk stream yang Anda batalkan di tengah jalan, periksa nilai usage dan X-Balance-USD dalam log Anda sendiri untuk melihat apa yang ditagihkan.

Mengapa stream saya tiba sekaligus?

Proxy atau CDN di depan aplikasi Anda kemungkinan melakukan buffering respons. Nonaktifkan buffering untuk rute streaming dan periksa kembali.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.