Was dir Streaming bietet
Ohne Streaming hält die API die gesamte Antwort, bis das Modell fertig ist, und sendet sie dann als einen JSON-Körper. Für eine lange Antwort kann das viele Sekunden eines leeren Bildschirms bedeuten. Mit stream: true sendet der Server dieselbe Antwort als Reihe kleiner Ereignisse, die jeweils ein paar Zeichen der Antwort enthalten, und deine UI kann sie so ausgeben, wie sie eintreffen.
Das Übertragungsformat ist Server-Sent Events (SSE) über eine normale HTTP-Antwort. Jedes Ereignis ist eine Zeile, die mit data: beginnt, gefolgt von einem JSON-Chunk, und der Stream endet mit data: [DONE]. Du musst das selten manuell parsen, weil die OpenAI-SDKs das für dich erledigen. Wenn du die rohen Bytes sehen möchtest, zeigt die Entwicklerübersicht die Endpunkt-Struktur und die API-Dokumentation listet jeden Parameter auf.
Es gibt zwei Dinge, die du vor dem Codieren entscheiden solltest. Erstens: Wer liest den Stream: ein Browser, der mit deinem Server spricht, oder nur dein Server? Zweitens: Was tust du, wenn die Verbindung mitten unterbrochen wird? Der Rest dieser Seite behandelt beides.
Python: Streamen mit dem OpenAI SDK
Installiere das SDK mit pip install openai, erstelle einen Client mit unserer Base URL und übergebe stream=True. Die Modell-ID ist uncensored.
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmapi.com/v1",
api_key="YOUR_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about rain."}],
stream=True,
)
text = []
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
text.append(piece)
print(piece, end="", flush=True)
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
print("tokens:", usage)
Beachte die Guard chunk.choices and .... Der letzte Chunk, der die Nutzung enthält, kann eine leere choices-Liste haben, und ein Indexzugriff darauf würde einen Fehler auslösen. Das Sammeln der Teile in einer Liste und das Verknüpfen am Ende ist auch günstiger als wiederholte String-Konkatenation bei langen Antworten.
Node: derselbe Aufruf in JavaScript
Mit dem offiziellen openai-Paket für Node ist der Stream ein Async-Iterator. Dieses Beispiel verwendet ES-Module.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmapi.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Name three uses for a stream." }],
stream: true,
});
let full = "";
let usage = null;
for await (const chunk of stream) {
const piece = chunk.choices?.[0]?.delta?.content;
if (piece) {
full += piece;
process.stdout.write(piece);
}
if (chunk.usage) usage = chunk.usage;
}
console.log("\nusage:", usage);
Wenn du das SDK nicht möchtest, funktioniert auch fetch: Sende denselben JSON-Body mit stream: true und lese dann response.body mit einem TextDecoder und teile ihn an leeren Zeilen. Das SDK erspart dir die Behandlung von Events, die an einer Chunk-Grenze halbiert werden, was der übliche Fehler bei manuell geschriebenen Parsern ist.
Nutzung und Guthaben lesen
Die Nutzung wird am Ende des Streams gemeldet. Das ist die Zahl, die du für die Kostenverfolgung loggen solltest, weil sie der Betrag ist, von dem dein Guthaben belastet wird. Bei $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token kostet eine Antwort mit 1.200 Input-Token und 800 Output-Token 1.200 x 0,15 / 1.000.000 + 800 x 0,50 / 1.000.000 = $0,00018 + $0,0004 = $0,00058.
Jede Antwort enthält außerdem den X-Balance-USD-Header mit deinem verbleibenden Guthaben, sodass du eine Warnung bei niedrigem Kontostand anzeigen kannst, ohne eine zweite Anfrage zu senden. Du kannst auch regelmäßig GET /v1/balance aufrufen. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet, was bedeutet, dass ein Fehler vor dem ersten Token nichts kostet.
Die gleichen Antwort-Header enthalten X-Request-Id. Speichere sie neben deiner eigenen Log-Zeile für jeden Stream. Wenn ein Stream sich seltsam verhält, ist diese ID das, was du dem Support gibst, damit die Anfrage gefunden werden kann.
Abgebrochene Streams und was man dagegen tun kann
Streams brechen. Ein Telefon wechselt von Wi-Fi zu mobilen Daten, ein Proxy schließt eine inaktive Verbindung, ein Benutzer schließt den Tab. Plane das von Anfang an.
Bewahre den partiellen Text auf
Füge jedes Teil an einen Puffer an, sobald es eintrifft, und speichere den Puffer, wenn die Schleife endet oder einen Fehler wirft. Wenn der Stream fehlgeschlagen ist, hast du eine verwendbare halbe Antwort. Zeige sie mit einem Retry-Button an, anstatt sie zu verwerfen.
Wiederholen oder fortsetzen
Die einfachste Wiederherstellung ist das erneute Senden der ursprünglichen Anfrage. Für eine kurze Antwort ist das in Ordnung. Für eine lange kannst du den gespeicherten partiellen Text als Assistant-Nachricht senden und das Modell bitten, dort fortzufahren, wo es aufgehört hat. Das Ergebnis stimmt möglicherweise nicht mit dem überein, was der erste Stream produziert hätte, also betrachte es als Best-Effort und kennzeichne es in deiner UI, wenn Genauigkeit wichtig ist.
Schließe, was du aufgibst
Eine gestreamte Anfrage belegt ihren Concurrency-Slot, bis der Stream endet. Ein voller Schlüssel erlaubt 8 Anfragen gleichzeitig, und ein Trial-Schlüssel nur 2. Wenn dein Server weiterhin einen Stream für einen Benutzer liest, der gegangen ist, bleibt dieser Slot belegt. Kündige die Anfrage, wenn der Client die Verbindung trennt. Rufe in Python stream.close() auf; in Node rufe stream.controller.abort() auf.
Ein Stream an einen Browser weiterleiten
Lege deinen API-Schlüssel niemals in Browser-Code. Das übliche Setup ist ein kleiner Endpunkt auf deinem eigenen Server, der die API mit stream: true aufruft und jedes Teil an die Seite weiterleitet. In Node mit Express setze Content-Type: text/event-stream, schreibe jedes Teil als data: ... gefolgt von einer Leerzeile und lausche dem close-Event auf der Anfrage, um den Upstream-Aufruf abzubrechen. Auf der Seite behandelt EventSource GET-Endpunkte, während fetch mit einem Reader POST-Body behandelt, was du benötigst, wenn du eine Nachrichtenverlauf sendest.
Behalte den Nachrichtenverlauf auf deinem Server oder im Request-Body und kürze die ältesten Turns, wenn das Gespräch lang wird. Das Kontextfenster hat 100.000 Token für Prompt plus Completion, was viel Chat bedeutet, aber eine lang laufende Sitzung wird es irgendwann erreichen.
Ratenlimits beim Streamen
Die Limits sind 300 Anfragen pro Minute und 8 gleichzeitige Anfragen bei einem vollen Schlüssel sowie 60 pro Minute und 2 gleichzeitige bei einem Trial-Schlüssel. Das Überschreiten liefert HTTP 429. Der Fehlercode sagt dir, welches Limit du getroffen hast: rate_limited bedeutet zu viele Anfragen pro Minute und concurrency bedeutet zu viele gleichzeitig. Bei temporärer Überlastung gibt die API auch 429 mit einem Retry-After: 5-Header zurück.
Da ein 429 vor dem Streamen von Tokens eintrifft, behandle ihn, bevor du mit dem Lesen beginnst. Ein kleiner Retry-Wrapper reicht:
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.uncensoredllmapi.com/v1", api_key="YOUR_KEY")
def open_stream(messages, tries=4):
for n in range(tries):
try:
return client.chat.completions.create(
model="uncensored", messages=messages, stream=True
)
except RateLimitError as e:
wait = 5 if n == 0 else 5 * (n + 1)
time.sleep(wait)
raise RuntimeError("still rate limited")
Für Chat-Apps mit vielen Benutzern ist die eigentliche Lösung für concurrency-Fehler eine kleine Warteschlange auf deiner Seite, die nicht mehr als 8 Live-Streams gleichzeitig erlaubt.
Checkliste vor dem Release eines Streaming-Chats
- Schütze dich vor leeren
choicesim letzten Chunk. - Puffere partiellen Text und speichere ihn bei einem Fehler.
- Kündige die Upstream-Anfrage, wenn der Browser die Verbindung trennt.
- Begrenze Live-Streams auf dein Concurrency-Limit.
- Logge Nutzung und die Request-ID pro Stream.
- Deaktiviere das Response-Buffering auf jedem Reverse-Proxy vor deinem Server, sonst kommen Token in Bursts an.
Der letzte Punkt ist eine häufige Fehlerquelle bei ersten Bereitstellungen. Nginx puffert zum Beispiel proxys responses standardmäßig, sodass der Stream auf localhost funktioniert, in der Produktion aber eingefroren aussieht, bis das Puffern für diese Route deaktiviert ist. Für JSON-Ausgabe statt Freitext sieh dir die Hinweise zum JSON-Modus an. Um den obigen Code zu testen, erstelle einen API-Schlüssel; neue Konten können $0,50 Testguthaben mit einem Klick beanspruchen, gültig für 7 Tage. Aufladungen sind nur Krypto (USDT auf TRC20 oder USDC auf Base), ab $20.
