TR ▾
API anahtarı al
Geliştiriciler için OpenAI uyumlu sansürsüz API. güncellendi

Python ve Node ile OpenAI Uyumlu API Akışı

OpenAI uyumlu API akışı burada OpenAI'ye karşı olduğu gibi çalışır: stream: true ayarlayın, SDK'yı base URL'mize yönlendirin ve sunucu gönderilen olayları geldikçe okuyun. Bu sayfada çalışan Python ve Node kodları, bir akışın kesilmesi durumunda ne yapılacağı yer almaktadır.

Token akışını göstermek için bir sunucudan bir dizüstü bilgisayara tek tek akan parlayan bloklar

Sizin için akışın sağladıkları

Akış modu olmadan API, model yanıtı tamamlana kadar tüm cevabı tutar ve ardından tek bir JSON gövdesi olarak gönderir. Uzun bir yanıt için bu, boş bir ekranın birkaç saniye boyunca görünmesi anlamına gelebilir. stream: true ile sunucu aynı yanıtı küçük olaylar serisi olarak gönderir; her olay yanıtın birkaç karakterini taşır ve kullanıcı arayüzünüz bu karakterleri geldikçe gösterebilir.

Hat formatı normal HTTP yanıtı üzerinden sunucu gönderilen olaylardır (SSE). Her olay data: ile başlayan bir satır ve bir JSON parçası içerir; akış data: [DONE] ile biter. Bunu elle ayrıştırmak nadirdir çünkü OpenAI SDK'ları bunu sizin için yapar. Ham baytları görmek isterseniz geliştirici genel bakışı uç nokta düzenini gösterir ve API belgeleri her parametreyi listeler.

Kod yazmadan önce karar vermeniz gereken iki şey vardır. İlki, akışı kim okuyacak: sunucunuza bağlanan bir tarayıcı mı, yoksa yalnızca sunucunuz mu? İkincisi, bağlantı yolda kırıldığında ne yapacağınız. Bu sayfanın geri kalanı her iki durumu da kapsar.

Python: OpenAI SDK ile akış

SDK'yı pip install openai ile yükleyin, temel URL'mizle bir istemci oluşturun ve stream=True geçirin. Model kimliği uncensored'dir.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmapi.com/v1",
    api_key="YOUR_KEY",
)

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a four-line poem about rain."}],
    stream=True,
)

text = []
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        piece = chunk.choices[0].delta.content
        text.append(piece)
        print(piece, end="", flush=True)
    if getattr(chunk, "usage", None):
        usage = chunk.usage

print()
print("tokens:", usage)

chunk.choices and ... ve ... korumasına dikkat edin. API kullanım istatistiğini taşıyan son parça boş bir choices listesine sahip olabilir ve buna erişmek bir hataya neden olur. Parçaları bir listede toplamak ve sona birleştirmek, uzun yanıtlarda tekrarlanan dize birleştirmeden daha ucuzdur.

Node: JavaScript'te aynı çağrı

Node için resmi openai paketiyle akış bir asenkron yineleyicidir. Bu örnek ES modüllerini kullanır.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmapi.com/v1",
  apiKey: process.env.API_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Name three uses for a stream." }],
  stream: true,
});

let full = "";
let usage = null;
for await (const chunk of stream) {
  const piece = chunk.choices?.[0]?.delta?.content;
  if (piece) {
    full += piece;
    process.stdout.write(piece);
  }
  if (chunk.usage) usage = chunk.usage;
}
console.log("\nusage:", usage);

SDK kullanmak istemiyorsanız fetch da çalışır: stream: true ile aynı JSON gövdesini gönderin, ardından response.body'i bir TextDecoder ile okuyun ve boş satırlara göre bölün. SDK, el ile yazılmış ayrıştırıcılardaki yaygın hata olan olayların bir parça sınırında ikiye bölünmesini yönetmenizi engeller.

Kullanım ve bakiye okuma

Kullanım akışın sonunda bildirilir. Bu, maliyet takibi için loglamanız gereken sayıdır çünkü bakiyeniz buna göre faturalandırılır. 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50 ile 1.200 girdi token ve 800 çıktı token içeren bir yanıtın maliyeti 1.200 x 0.15 / 1.000.000 + 800 x 0.50 / 1.000.000 = $0,00018 + $0,0004 = $0,00058'dir.

Her yanıt, kalan kredinizi gösteren X-Balance-USD başlığını taşır; bu sayede ikinci bir istek yapmadan düşük bakiye uyarısı gösterebilirsiniz. Ayrıca GET /v1/balance'i bir zamanlayıcı ile çağırabilirsiniz. Başarısız veya reddedilen istekler ücretlendirilmez; bu, ilk token öncesindeki bir hatanın ücretsiz olduğu anlamına gelir.

Aynı yanıt başlıkları X-Request-Id'i de içerir. Her akış için kendi günlük satırınızın yanına bu kimliği kaydedin. Bir akış tuhaf davrandığında, bu ID destek ekibine ileteceğiniz şeydir ve istek bu sayede bulunabilir.

Kesilen akışlar ve onlar için ne yapılması gerektiği

Akışlar kopar. Bir telefon Wi-Fi'dan mobil veriye geçer, bir proxy boşta bir bağlantıyı kapatır, bir kullanıcı sekmeyi kapatır. Bunu baştan planlayın.

Kısmi metneyi koruyun

Her parçayı geldiği anda bir tampona ekleyin ve döngü bittiğinde veya hata verdiğinde tamponu kaydedin. Akış başarısız olursa, kullanılabilecek bir kısmi yanıtınız olur. Bunu atmak yerine bir yeniden deneme düğmesiyle gösterin.

Yeniden dene veya devam et

En basit kurtarma yöntemi, orijinal isteği yeniden göndermektir. Kısa bir yanıt için bu uygundur. Uzun bir yanıt için, kaydedilen kısmi metni bir asistan mesajı olarak gönderip modelin kaldığı yerden devam etmesini isteyebilirsiniz. Sonuç, ilk akışın üreteceği şeyle eşleşmeyebilir; bu nedenle bunu bir çaba olarak değerlendirin ve hassasiyet önemliyse kullanıcı arayüzünüzde bunu belirtin.

Bıraktıklarınızı kapatın

Akışlı bir istek, akış bitene kadar eşzamanlılık yuvasını işgal eder. Tam bir anahtar aynı anda 8 isteğe, deneme anahtarı ise yalnızca 2 isteğe izin verir. Sunucunuz giden bir kullanıcı için bir akış okumaya devam ederse, o yuva meşgul kalır. İstemci bağlantıyı kestiğinde isteği iptal edin. Python'da stream.close(); Node'da stream.controller.abort() çağırın.

Bir tarayıcıya akış aktarma

API anahtarınızı tarayıcı koduna koymayın. Yaygın kurulum, stream: true ile API'yi çağıran ve her parçayı sayfaya yönlendiren kendi sunucunuzdaki küçük bir uç noktadır. Express ile Node'da Content-Type: text/event-stream ayarlayın, her parçayı data: ... şeklinde yazın ve üst sunucu çağrısını iptal etmek için istekteki close olayını dinleyin. Sayfada EventSource GET uç noktalarını yönetir, fetch ise okuyucu ile POST gövdelerini yönetir; bu, bir mesaj geçmişi gönderdiğinizde ihtiyacınız olan şeydir.

Mesaj geçmişini sunucunuzda veya istek gövdesinde tutun ve konuşma uzunlaştığında en eski dönüşleri kısaltın. Bağlam penceresi istem ve tamamlama için 100.000 token içindir; bu çok sohbet demektir ancak uzun süreli bir oturum buna eventually ulaşacaktır.

Akış sırasında hız limitleri

Sınırlar tam anahtar için dakikada 300 istek ve eşzamanlı 8 istektir; deneme anahtarı için ise dakikada 60 ve eşzamanlı 2 istektir. Bu sınırları aşmak HTTP 429 hatası döndürür. Hata kodu hangi limite ulaştığınızı gösterir: rate_limited dakikada çok fazla istek anlamına gelir, concurrency ise aynı anda çok fazla istek anlamına gelir. Geçici aşırı yüklenme durumunda API ayrıca Retry-After: 5 başlığıyla 429 hatası döndürür.

429 hatası, herhangi bir token akışa başlamadan önce gelir; bu nedenle okumaya başlamadan önce bu hatayı yönetin. Küçük bir yeniden deneme sarmalayıcısı yeterlidir:

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.uncensoredllmapi.com/v1", api_key="YOUR_KEY")

def open_stream(messages, tries=4):
    for n in range(tries):
        try:
            return client.chat.completions.create(
                model="uncensored", messages=messages, stream=True
            )
        except RateLimitError as e:
            wait = 5 if n == 0 else 5 * (n + 1)
            time.sleep(wait)
    raise RuntimeError("still rate limited")

Çok kullanıcılı sohbet uygulamaları için concurrency hatalarının gerçek çözümü, aynı anda en fazla 8 canlı akışa izin veren tarafınızdaki küçük bir kuyruktur.

Akışlı sohbeti yayınlamadan önce kontrol listesi

  • Son parçadaki boş choices listesine karşı koruma sağlayın.
  • Kısmi metneyi arabelleğe alın ve hata durumunda kalıcı hale getirin.
  • Tarayıcı bağlantıyı kestiğinde üst akış isteğini iptal edin.
  • Canlı akışları eşzamanlılık sınırınızla sınırlayın.
  • Her akış için kullanımı ve istek kimliğini loglayın.
  • Sunucunuzun önündeki herhangi bir ters vekil sunucuda yanıt tamponlamasını kapatın, aksi takdirde tokenlar toplu halde gelir.

Son nokta birçok ilk dağıtımda takılma yaratır. Örneğin Nginx, proxy edilen yanıtları varsayılan olarak arabelleğe alır; bu nedenle akış localhost'ta çalışır ancak arabellekleme o rota için devre dışı bırakılana kadar üretimde donmuş görünür. Serbest metin yerine JSON çıktısı için JSON modu notlarına bakın. Yukarıdaki kodu denemek için bir API anahtarı oluşturun; yeni hesaplar 7 gün geçerli olmak üzere tek tıkla $0,50 deneme kredisi talep edebilir. Bakiye yüklemek yalnızca kripto ile mümkündür (TRC20 üzerinde USDT veya Base üzerinde USDC), minimum $20.

Sorular ve cevaplar

Akış için özel bir SDK'ya ihtiyacım var mı?

Hayır. Standart OpenAI Python ve Node paketleri çalışır. Base URL'yi, anahtarı ve model adını uncensored olarak değiştirin, ardından stream: true parametresini gönderin.

Araç çağrılarını ve JSON modunu akış olarak gönderebilir miyim?

Evet, araç çağrıları için: bunlar tool_calls delta'ları olarak akış olarak gönderilir ve argümanları ayrıştırmadan önce parçaları birleştirirsiniz. Herhangi bir JSON modu akışını da aynı şekilde test edin; yalnızca son parça geldikten sonra ayrıştırma yapın.

İptal ettiğim bir akış için ücretlendirilir miyim?

Başarısız veya reddedilen istekler için ücretlendirilmezsiniz. Akışı ortada iptal ederseniz, ne kadar ücretlendirildiğini görmek için kendi günlüklerinizdeki kullanım ve X-Balance-USD değerlerini kontrol edin.

Neden akışım aynı anda geliyor?

Uygulamanızın önündeki bir proxy veya CDN büyük olasılıkla yanıtı arabelleğe alıyor. Akış rotası için arabellekleme özelliğini devre dışı bırakın ve tekrar kontrol edin.

Anahtarınız bir adım uzaktadır

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.