PL ▾
Pobierz klucz API
API bez cenzury kompatybilne z OpenAI dla programistów.Zaktualizowano

Strumieniowanie API kompatybilnego z OpenAI w Pythonie i Node.js

Strumieniowanie API kompatybilnego z OpenAI działa tu tak samo jak w przypadku OpenAI: ustaw stream: true, wskaż SDK na nasz base URL i czytaj zdarzenia wysyłane przez serwer (SSE) w miarę ich przybywania. Ta strona zawiera działający kod w Pythonie i Node oraz informacje o tym, co zrobić, gdy strumień zostanie przerwany.

Świecące bloki płynące jeden po drugim z serwera na laptop, ilustrujące strumieniowanie tokenów

Co daje Ci strumieniowanie

Bez strumieniowania API trzyma całą odpowiedź, dopóki model nie skończy generować, a potem wysyła ją jako jeden obiekt JSON. Przy długiej odpowiedzi może to oznaczać wiele sekund pustego ekranu. Przy stream: true serwer wysyła tę samą odpowiedź jako serię małych zdarzeń, z których każde zawiera kilka znaków odpowiedzi, a Twój interfejs może je wyświetlać w miarę ich przychodzenia.

Format przesyłu to zdarzenia wysyłane przez serwer (SSE) w zwykłej odpowiedzi HTTP. Każde zdarzenie to linia zaczynająca się od data:, po której następuje fragment JSON, a strumień kończy się data: [DONE]. Rzadko parsujesz to ręcznie, ponieważ biblioteki OpenAI SDK robią to za Ciebie. Jeśli chcesz zobaczyć surowe bajty, przegląd dla deweloperów pokazuje strukturę endpointa, a dokumentacja API wymienia każdy parametr.

Dwie rzeczy warto rozważyć przed napisaniem kodu. Po pierwsze, kto czyta strumień: przeglądarka łącząca się z Twoim serwerem, czy tylko Twój serwer. Po drugie, co robisz, gdy połączenie zerwie się w połowie. Reszta tej strony omawia oba przypadki.

Python: strumieniowanie z użyciem SDK OpenAI

Zainstaluj SDK poleceniem pip install openai, utwórz klienta z naszym bazowym URL i przekaż stream=True. ID modelu to uncensored.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmapi.com/v1",
    api_key="YOUR_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about rain."}],
    stream=True,
)

text = []
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        piece = chunk.choices[0].delta.content
        text.append(piece)
        print(piece, end="", flush=True)
    if getattr(chunk, "usage", None):
        usage = chunk.usage

print()
print("tokens:", usage)

Zwróć uwagę na zabezpieczenie chunk.choices and .... Ostatni kawałek zawierający dane o użyciu może mieć pustą listę choices, a odwołanie się do niej spowoduje błąd. Zbieranie kawałków na liście i łączenie ich na końcu jest też tańsze niż wielokrotne konkatenowanie stringów przy długich odpowiedziach.

Node: to samo wywołanie w JavaScript

W oficjalnym pakiecie openai dla Node strumień jest asynchronicznym iteratorem. Ten przykład używa modułów ES.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmapi.com/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Name three uses for a stream." }],
  stream: true,
});

let full = "";
let usage = null;
for await (const chunk of stream) {
  const piece = chunk.choices?.[0]?.delta?.content;
  if (piece) {
    full += piece;
    process.stdout.write(piece);
  }
  if (chunk.usage) usage = chunk.usage;
}
console.log("\nusage:", usage);

Jeśli nie chcesz używać SDK, fetch też zadziała: wyślij ten sam obiekt JSON z stream: true, a następnie odczytaj response.body za pomocą TextDecoder i podziel go po pustych liniach. SDK oszczędza Ci obsługę zdarzeń, które zostały ucięte na granicy fragmentu, co jest typowym błędem w parserach pisanych ręcznie.

Odczytywanie użycia i salda

Użycie jest raportowane na końcu strumienia. To jest liczba, którą należy zalogować do śledzenia kosztów, ponieważ to na tej podstawie naliczane są opłaty. Przy cenie $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych odpowiedź z 1200 tokenami wejściowymi i 800 tokenami wyjściowymi kosztuje 1200 x 0.15 / 1 000 000 + 800 x 0.50 / 1 000 000 = $0,00018 + $0,0004 = $0,00058.

Każda odpowiedź zawiera również nagłówek X-Balance-USD z Twoim pozostałym kredytem, więc możesz wyświetlić ostrzeżenie o niskim saldzie bez drugiego zapytania. Możesz też wywołać GET /v1/balance w regularnych odstępach czasu. Nieudane lub odrzucone zapytania nie są rozliczane, co oznacza, że błąd przed pierwszym tokenem nic nie kosztuje.

Te same nagłówki odpowiedzi zawierają X-Request-Id. Przechowuj go obok własnej linii logu dla każdego strumienia. Jeśli strumień zachowuje się dziwnie, to ID jest tym, co podajesz wsparciu, aby zlokalizować zapytanie.

Przerwane strumienie i co z nimi zrobić

Strumienie się łamią. Telefon przełącza się z Wi-Fi na dane komórkowe, proxy zamyka połączenie bezczynne, użytkownik zamyka kartę. Zaplanuj to od początku.

Zachowaj częściowy tekst

Dołączaj każdy fragment do bufora w miarę jego przybywania i zapisuj bufor, gdy pętla się zakończy lub rzuci wyjątek. Jeśli strumienowanie się nie powiodło, masz użyteczną częściową odpowiedź. Wyświetl ją z przyciskiem ponownego wysłania zamiast ją odrzucać.

Ponów próbę lub kontynuuj

Najprostszym sposobem na odzyskanie jest ponowne wysłanie oryginalnego zapytania. Przy krótkiej odpowiedzi to wystarczy. Przy długiej możesz wysłać zapisany fragment tekstu jako wiadomość asystenta i poprosić model o kontynuację od miejsca, w którym przerwał. Wynik może nie pasować do tego, co wyprodukowałby pierwszy strumień, więc traktuj to jako najlepsze starania i oznacz to w interfejsie, jeśli liczy się dokładność.

Zamykaj to, czego porzucasz

Zapytanie strumieniowe zajmuje swój slot równoległości do końca strumienia. Pełny klucz pozwala na 8 zapytań naraz, a klucz próbny tylko na 2. Jeśli Twój serwer nadal czyta strumień dla użytkownika, który odszedł, ten slot pozostaje zajęty. Anuluj zapytanie, gdy klient się rozłączy. W Pythonie wywołaj stream.close(); w Node wywołaj stream.controller.abort().

Przekazywanie strumienia do przeglądarki

Nigdy nie umieszczaj swojego klucza API w kodzie przeglądarki. Zwykła konfiguracja to mały endpoint na Twoim serwerze, który wywołuje API z stream: true i przekazuje każdy kawałek do strony. W Node z Express ustaw Content-Type: text/event-stream, zapisz każdy kawałek jako data: ... i następną pustą linię oraz nasłuchuj zdarzenia close na żądaniu, aby przerwać wywołanie do serwera nadrzędnego. Na stronie EventSource obsługuje endpointy GET, podczas gdy fetch z czytnikiem obsługuje ciała POST, co jest tym, czego potrzebujesz, gdy wysyłasz historię wiadomości.

Przechowuj historię wiadomości na swoim serwerze lub w ciele żądania i usuwaj najstarsze zwroty, gdy rozmowa staje się długa. Okno kontekstu wynosi 100 000 tokenów dla promptu plus uzupełnienia, co jest dużo jak na czat, ale długotrwała sesja i tak to wyczerpie.

Limity zapytań podczas strumieniowania

Limity to 300 zapytań na minutę i 8 zapytań równoległych dla pełnego klucza oraz 60 na minutę i 2 równoległe dla klucza próbnego. Przekroczenie zwraca HTTP 429. Kod błędu mówi Ci, którego limitu przekroczyłeś: rate_limited oznacza zbyt wiele zapytań na minutę, a concurrency oznacza zbyt wiele naraz. Przy tymczasowym przeciążeniu API zwraca też 429 z nagłówkiem Retry-After: 5.

Ponieważ 429 przychodzi przed strumieniowaniem jakichkolwiek tokenów, obsłuż go przed rozpoczęciem czytania. Wystarczy mały wrapper retry:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.uncensoredllmapi.com/v1", api_key="YOUR_KEY")

def open_stream(messages, tries=4):
    for n in range(tries):
        try:
            return client.chat.completions.create(
                model="uncensored", messages=messages, stream=True
            )
        except RateLimitError as e:
            wait = 5 if n == 0 else 5 * (n + 1)
            time.sleep(wait)
    raise RuntimeError("still rate limited")

Dla aplikacji czatowych z wieloma użytkownikami prawdziwym rozwiązaniem błędów concurrency jest mała kolejka po Twojej stronie, która pozwala nie więcej niż na 8 żywych strumieniów naraz.

Lista kontrolna przed wdrożeniem czatu ze strumieniowaniem

  • Zabezpiecz się przed pustymi choices w ostatnim fragmencie.
  • Buforuj częściowy tekst i zapisuj go przy błędzie.
  • Przerwij wywołanie do serwera nadrzędnego, gdy przeglądarka się rozłączy.
  • Ogranicz żywe strumienie do limitu równoległości.
  • Loguj użycie i ID zapytania na strumień.
  • Wyłącz buforowanie odpowiedzi w każdym serwerze odwrotnym przed Twoim serwerem, w przeciwnym razie tokeny będą przychodzić w falach.

Ostatni punkt często psuje pierwsze wdrożenia. Nginx, na przykład, buforuje odpowiedzi proxy domyślnie, więc strumień działa na localhost, ale wygląda na zamarznięty w produkcji, dopóki nie wyłączysz buforowania dla tej trasy. Dla wyjścia JSON zamiast tekstu swobodnego zobacz uwagi na temat trybu JSON. Aby wypróbować powyższy kod, utwórz klucz API; nowe konta mogą odebrać $0,50 kredytu próbnego jednym kliknięciem, ważny przez 7 dni. Doładowania są tylko kryptowalutami (USDT na TRC20 lub USDC na Base), od $20.

Pytania i odpowiedzi

Czy potrzebuję specjalnego SDK do strumieniowania?

Nie. Standardowe pakiety Python i Node.js od OpenAI działają. Zmień bazowy URL, klucz i nazwę modelu na uncensored, a następnie przekaż stream: true.

Czy mogę strumieniować wywoływanie funkcji i tryb JSON?

Tak dla wywoływania funkcji: są one strumieniowane jako delta tool_calls, a Ty łączysz fragmenty przed parsowaniem argumentów. Testuj strumienie w trybie JSON w ten sam sposób, parsując dopiero po ostatnim fragmencie.

Czy jestem rozliczany za strumień, który anuluję?

Nie rozliczamy nieudanych lub odrzuconych żądań. W przypadku strumienia, który przerwiesz w trakcie, sprawdź wartości użycia i X-Balance-USD we własnych logach, aby zobaczyć, co zostało pobrane.

Dlaczego mój strumień dociera naraz?

Prawdopodobnie proxy lub CDN przed Twoją aplikacją buforuje odpowiedź. Wyłącz buforowanie dla trasy strumieniowania i sprawdź ponownie.

Twój klucz jest już w zasięgu ręki

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.