DE ▾
API-Schlüssel erhalten
OpenAI-kompatible unzensierte API für Entwickler.Aktualisiert

OpenAI-kompatible API-Streaming in Python und Node

Das OpenAI-kompatible API-Streaming funktioniert hier genauso wie bei OpenAI: Setze stream: true, verweise das SDK auf unsere Base URL und lese Server-Sent Events, sobald sie eintreffen. Diese Seite enthält funktionierenden Python- und Node-Code sowie Anleitungen dazu, was zu tun ist, wenn ein Stream abbricht.

Leuchtende Blöcke, die nacheinander von einem Server zu einem Laptop fließen, zur Veranschaulichung des Token-Streamings

Was dir Streaming bietet

Ohne Streaming hält die API die gesamte Antwort, bis das Modell fertig ist, und sendet sie dann als einen JSON-Körper. Für eine lange Antwort kann das viele Sekunden eines leeren Bildschirms bedeuten. Mit stream: true sendet der Server dieselbe Antwort als Reihe kleiner Ereignisse, die jeweils ein paar Zeichen der Antwort enthalten, und deine UI kann sie so ausgeben, wie sie eintreffen.

Das Übertragungsformat ist Server-Sent Events (SSE) über eine normale HTTP-Antwort. Jedes Ereignis ist eine Zeile, die mit data: beginnt, gefolgt von einem JSON-Chunk, und der Stream endet mit data: [DONE]. Du musst das selten manuell parsen, weil die OpenAI-SDKs das für dich erledigen. Wenn du die rohen Bytes sehen möchtest, zeigt die Entwicklerübersicht die Endpunkt-Struktur und die API-Dokumentation listet jeden Parameter auf.

Es gibt zwei Dinge, die du vor dem Codieren entscheiden solltest. Erstens: Wer liest den Stream: ein Browser, der mit deinem Server spricht, oder nur dein Server? Zweitens: Was tust du, wenn die Verbindung mitten unterbrochen wird? Der Rest dieser Seite behandelt beides.

Python: Streamen mit dem OpenAI SDK

Installiere das SDK mit pip install openai, erstelle einen Client mit unserer Base URL und übergebe stream=True. Die Modell-ID ist uncensored.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmapi.com/v1",
    api_key="YOUR_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about rain."}],
    stream=True,
)

text = []
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        piece = chunk.choices[0].delta.content
        text.append(piece)
        print(piece, end="", flush=True)
    if getattr(chunk, "usage", None):
        usage = chunk.usage

print()
print("tokens:", usage)

Beachte die Guard chunk.choices and .... Der letzte Chunk, der die Nutzung enthält, kann eine leere choices-Liste haben, und ein Indexzugriff darauf würde einen Fehler auslösen. Das Sammeln der Teile in einer Liste und das Verknüpfen am Ende ist auch günstiger als wiederholte String-Konkatenation bei langen Antworten.

Node: derselbe Aufruf in JavaScript

Mit dem offiziellen openai-Paket für Node ist der Stream ein Async-Iterator. Dieses Beispiel verwendet ES-Module.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmapi.com/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Name three uses for a stream." }],
  stream: true,
});

let full = "";
let usage = null;
for await (const chunk of stream) {
  const piece = chunk.choices?.[0]?.delta?.content;
  if (piece) {
    full += piece;
    process.stdout.write(piece);
  }
  if (chunk.usage) usage = chunk.usage;
}
console.log("\nusage:", usage);

Wenn du das SDK nicht möchtest, funktioniert auch fetch: Sende denselben JSON-Body mit stream: true und lese dann response.body mit einem TextDecoder und teile ihn an leeren Zeilen. Das SDK erspart dir die Behandlung von Events, die an einer Chunk-Grenze halbiert werden, was der übliche Fehler bei manuell geschriebenen Parsern ist.

Nutzung und Guthaben lesen

Die Nutzung wird am Ende des Streams gemeldet. Das ist die Zahl, die du für die Kostenverfolgung loggen solltest, weil sie der Betrag ist, von dem dein Guthaben belastet wird. Bei $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token kostet eine Antwort mit 1.200 Input-Token und 800 Output-Token 1.200 x 0,15 / 1.000.000 + 800 x 0,50 / 1.000.000 = $0,00018 + $0,0004 = $0,00058.

Jede Antwort enthält außerdem den X-Balance-USD-Header mit deinem verbleibenden Guthaben, sodass du eine Warnung bei niedrigem Kontostand anzeigen kannst, ohne eine zweite Anfrage zu senden. Du kannst auch regelmäßig GET /v1/balance aufrufen. Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet, was bedeutet, dass ein Fehler vor dem ersten Token nichts kostet.

Die gleichen Antwort-Header enthalten X-Request-Id. Speichere sie neben deiner eigenen Log-Zeile für jeden Stream. Wenn ein Stream sich seltsam verhält, ist diese ID das, was du dem Support gibst, damit die Anfrage gefunden werden kann.

Abgebrochene Streams und was man dagegen tun kann

Streams brechen. Ein Telefon wechselt von Wi-Fi zu mobilen Daten, ein Proxy schließt eine inaktive Verbindung, ein Benutzer schließt den Tab. Plane das von Anfang an.

Bewahre den partiellen Text auf

Füge jedes Teil an einen Puffer an, sobald es eintrifft, und speichere den Puffer, wenn die Schleife endet oder einen Fehler wirft. Wenn der Stream fehlgeschlagen ist, hast du eine verwendbare halbe Antwort. Zeige sie mit einem Retry-Button an, anstatt sie zu verwerfen.

Wiederholen oder fortsetzen

Die einfachste Wiederherstellung ist das erneute Senden der ursprünglichen Anfrage. Für eine kurze Antwort ist das in Ordnung. Für eine lange kannst du den gespeicherten partiellen Text als Assistant-Nachricht senden und das Modell bitten, dort fortzufahren, wo es aufgehört hat. Das Ergebnis stimmt möglicherweise nicht mit dem überein, was der erste Stream produziert hätte, also betrachte es als Best-Effort und kennzeichne es in deiner UI, wenn Genauigkeit wichtig ist.

Schließe, was du aufgibst

Eine gestreamte Anfrage belegt ihren Concurrency-Slot, bis der Stream endet. Ein voller Schlüssel erlaubt 8 Anfragen gleichzeitig, und ein Trial-Schlüssel nur 2. Wenn dein Server weiterhin einen Stream für einen Benutzer liest, der gegangen ist, bleibt dieser Slot belegt. Kündige die Anfrage, wenn der Client die Verbindung trennt. Rufe in Python stream.close() auf; in Node rufe stream.controller.abort() auf.

Ein Stream an einen Browser weiterleiten

Lege deinen API-Schlüssel niemals in Browser-Code. Das übliche Setup ist ein kleiner Endpunkt auf deinem eigenen Server, der die API mit stream: true aufruft und jedes Teil an die Seite weiterleitet. In Node mit Express setze Content-Type: text/event-stream, schreibe jedes Teil als data: ... gefolgt von einer Leerzeile und lausche dem close-Event auf der Anfrage, um den Upstream-Aufruf abzubrechen. Auf der Seite behandelt EventSource GET-Endpunkte, während fetch mit einem Reader POST-Body behandelt, was du benötigst, wenn du eine Nachrichtenverlauf sendest.

Behalte den Nachrichtenverlauf auf deinem Server oder im Request-Body und kürze die ältesten Turns, wenn das Gespräch lang wird. Das Kontextfenster hat 100.000 Token für Prompt plus Completion, was viel Chat bedeutet, aber eine lang laufende Sitzung wird es irgendwann erreichen.

Ratenlimits beim Streamen

Die Limits sind 300 Anfragen pro Minute und 8 gleichzeitige Anfragen bei einem vollen Schlüssel sowie 60 pro Minute und 2 gleichzeitige bei einem Trial-Schlüssel. Das Überschreiten liefert HTTP 429. Der Fehlercode sagt dir, welches Limit du getroffen hast: rate_limited bedeutet zu viele Anfragen pro Minute und concurrency bedeutet zu viele gleichzeitig. Bei temporärer Überlastung gibt die API auch 429 mit einem Retry-After: 5-Header zurück.

Da ein 429 vor dem Streamen von Tokens eintrifft, behandle ihn, bevor du mit dem Lesen beginnst. Ein kleiner Retry-Wrapper reicht:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.uncensoredllmapi.com/v1", api_key="YOUR_KEY")

def open_stream(messages, tries=4):
    for n in range(tries):
        try:
            return client.chat.completions.create(
                model="uncensored", messages=messages, stream=True
            )
        except RateLimitError as e:
            wait = 5 if n == 0 else 5 * (n + 1)
            time.sleep(wait)
    raise RuntimeError("still rate limited")

Für Chat-Apps mit vielen Benutzern ist die eigentliche Lösung für concurrency-Fehler eine kleine Warteschlange auf deiner Seite, die nicht mehr als 8 Live-Streams gleichzeitig erlaubt.

Checkliste vor dem Release eines Streaming-Chats

  • Schütze dich vor leeren choices im letzten Chunk.
  • Puffere partiellen Text und speichere ihn bei einem Fehler.
  • Kündige die Upstream-Anfrage, wenn der Browser die Verbindung trennt.
  • Begrenze Live-Streams auf dein Concurrency-Limit.
  • Logge Nutzung und die Request-ID pro Stream.
  • Deaktiviere das Response-Buffering auf jedem Reverse-Proxy vor deinem Server, sonst kommen Token in Bursts an.

Der letzte Punkt ist eine häufige Fehlerquelle bei ersten Bereitstellungen. Nginx puffert zum Beispiel proxys responses standardmäßig, sodass der Stream auf localhost funktioniert, in der Produktion aber eingefroren aussieht, bis das Puffern für diese Route deaktiviert ist. Für JSON-Ausgabe statt Freitext sieh dir die Hinweise zum JSON-Modus an. Um den obigen Code zu testen, erstelle einen API-Schlüssel; neue Konten können $0,50 Testguthaben mit einem Klick beanspruchen, gültig für 7 Tage. Aufladungen sind nur Krypto (USDT auf TRC20 oder USDC auf Base), ab $20.

Fragen und Antworten

Brauche ich ein spezielles SDK zum Streamen?

Nein. Die Standard-Pakete für Python und Node.js von OpenAI funktionieren. Ändere die Base URL, den API-Schlüssel und den Modellnamen zu uncensored, und übergebe dann stream: true.

Kann ich Tool-Calls und den JSON-Modus streamen?

Ja für Tool-Calls: Sie werden als tool_calls-Deltas gestreamt, und du verknüpfst die Teile, bevor du die Argumente parst. Teste jeden JSON-Modus-Stream auf die gleiche Weise und parse erst nach dem letzten Chunk.

Werde ich für einen Stream, den ich abbreche, berechnet?

Fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Prüfe bei einem Stream, den du mittendrin abbrichst, die Nutzung und die X-Balance-USD-Werte in deinen eigenen Logs, um zu sehen, was in Rechnung gestellt wurde.

Warum kommt mein Stream auf einmal an?

Ein Proxy oder CDN vor deiner App puffert wahrscheinlich die Antwort. Deaktiviere das Puffern für die Streaming-Route und prüfe es erneut.

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.