curl ile hızlı başlangıç
En küçük çalışan JSON modu isteği bu şekildedir. Base URL olarak https://api.uncensoredllmapi.com/v1, model olarak uncensored ve anahtarınızı bir bearer token olarak kullanır:
curl https://api.uncensoredllmapi.com/v1/chat/completions -H "Authorization: Bearer $UNCENSORED_API_KEY" -H "Content-Type: application/json" -d '{
"model": "uncensored",
"response_format": {"type": "json_object"},
"messages": [
{"role": "system", "content": "Reply only with a JSON object."},
{"role": "user", "content": "Create a tavern NPC with keys name, trade and rumour."}
]
}'
choices[0].message.content içindeki asistan mesajı, bir JSON nesnesi içeren bir dizgedir. Yine de onu kendiniz ayrıştırmanız gerekir. İstemindeki talimatı atlamayın: JSON modu çıktıyı bir nesne olmaya kısıtlar ancak hangi anahtarları istediğinizi tahmin edemez. Anahtarları adlandırmak ve ideal olarak tek satırlık bir örnek göstermek, kararlı bir yapı elde etmenizi sağlar.
Henüz bir anahtarınız yoksa, API anahtarı sayfası kayıt sonrası tek tıkla $0.50 değerinde ücretsiz deneme kredisi verir. Bu kredi için ödeme gerekmez, 7 gün geçerlidir ve kişi başı bir kezle sınırlıdır.
Python'da doğrulama ile JSON modu
Model çıktısını diğer tüm harici girdiler gibi ele alın. Ayrıştırın, bir şemayla karşılaştırın ve başarısız olursa sınırlı sayıda yeniden deneme yapın. Pydantic bunu kısa kılar:
import json, os
from openai import OpenAI
from pydantic import BaseModel, ValidationError
client = OpenAI(
base_url="https://api.uncensoredllmapi.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
class Npc(BaseModel):
name: str
trade: str
rumour: str
SYSTEM = (
"Reply only with a JSON object with exactly these keys: "
"name, trade, rumour. Each value is a string."
)
def make_npc(setting, tries=3):
for _ in range(tries):
r = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": f"Setting: {setting}"},
],
temperature=0.7,
max_tokens=300,
)
choice = r.choices[0]
if choice.finish_reason == "length":
continue # cut off, so the JSON is incomplete
try:
return Npc(**json.loads(choice.message.content))
except (json.JSONDecodeError, ValidationError, TypeError):
continue
raise RuntimeError("no valid JSON after retries")
print(make_npc("a river port in a plague year"))
Bu kod parçasındaki üç alışkanlık kopyalanmaya değerdir. Kod, ayrıştırmadan önce finish_reason değerini kontrol eder çünkü max_tokens değerinde duran bir yanıt nesnenin ortasında biter. Orta düzey bir temperature kullanır çünkü yüksek sıcaklıklar hatalı çıktı olasılığını artırır. Ve yeniden denemeleri sınırlar, böylece kötü bir istek sonsuza kadar devam edemez. Başarısız veya reddedilen istekler ücretlendirilmediğinden, yeniden deneme bütçesi bir gecikme sorunudur, maliyet sorunu değil.
Yaygın JSON modu hataları
- İstemde JSON istemek ancak
response_formatiçinde istememek. Model genellikle uyacaktır, ancak nesneyi bir metin parçasına veya kod bloğuna sarabilir. İkisini de ayarlayın. max_tokensdeğerini çok düşük ayarlamak. En uzun geçerli yanıtı tahmin edin ve marj ekleyin. Uzun bir öğe listesi kolayca 300 tokeni aşabilir.- Üst düzey bir dizi beklemek. JSON modu bir nesne ister. Bir liste istiyorsanız
{"items": [...]}isteyin. - JSON içinde görünen bir durdurma dizisinin birlikte kullanılması.
stopparametresi geçirilir ve bir değer içinde görünen bir durdurma dizisi yanıtı erken keser. - Akış ile JSON modunu kullanma ve her parçayı ayrıştırma. Önce tüm metni toplayın, ardından son aşamada bir kez ayrıştırın.
Sıcaklık, top_p, seed ve cezalar gibi örnekleme ayarları doğrudan geçirilir. Çıkarma görevleri için 0,2 civarında düşük bir sıcaklık ve sabit bir seed değeri en tekrarlanabilir çıktıyı sağlar. Yukarıdaki NPC gibi yaratıcı üretim için, doğrulama yaptığınız sürece daha yüksek bir değer uygundur.
Araç çağırma: tam döngü
Fonksiyon çağırma, modelin kodunuza bir şey yapmasını söylemesine ve ardından sonucu kullanarak devam etmesine olanak tanır. Akış dört adımdan oluşur: araçları tanımlarsınız, model tool_calls ile yanıt verir, bunları çalıştırırsınız ve sonuçları role: "tool" ile mesaj olarak geri gönderirsiniz.
import json, os
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmapi.com/v1",
api_key=os.environ["UNCENSORED_API_KEY"],
)
tools = [{
"type": "function",
"function": {
"name": "lookup_inventory",
"description": "Return the stock count for an item in the shop.",
"parameters": {
"type": "object",
"properties": {"item": {"type": "string"}},
"required": ["item"],
},
},
}]
def lookup_inventory(item):
stock = {"healing potion": 4, "rope": 12}
return {"item": item, "count": stock.get(item.lower(), 0)}
messages = [{"role": "user", "content": "Do you still have healing potions?"}]
for _ in range(4): # hard cap on tool rounds
r = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = r.choices[0].message
if not msg.tool_calls:
print(msg.content)
break
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
result = lookup_inventory(**args)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
Argümanlar bir JSON dizisi olarak gelir, bunları ayrıştırmanız gerekir ve model bazen şemanızla eşleşmeyen argümanlar üretebilir. Yan etkilere sahip herhangi bir şeyi çalıştırmadan önce bunları doğrulayın. Onları kontrole olmadan bir kabuğa, bir SQL dizesine veya bir dosya yoluna geçirmeyin.
tool_choice alanı davranışı yönlendirmenizi sağlar. "auto" değerinde bırakın ve model karar versin. Belirli bir fonksiyonu çağırmayı zorlamak için bir fonksiyon adı belirtin; bu, JSON modu yerine bir araç şeması aracılığıyla yapılandırılmış veri çıkarma yapmak istediğinizde kullanışlıdır.
Node'da araç çağrılarını akış olarak gönderme
stream: true ile araç çağrıları parçalar halinde gelir. Her parça, fonksiyon adının veya argüman dizisinin bir parçasını taşır ve konumlarına göre indekslenir. Parçaları her bir indeks için birleştirip akış bittiğinde yalnızca o zaman ayrıştırmanız gerekir.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmapi.com/v1",
apiKey: process.env.UNCENSORED_API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
stream: true,
messages: [{ role: "user", content: "Check stock for rope." }],
tools: [{
type: "function",
function: {
name: "lookup_inventory",
description: "Return the stock count for an item.",
parameters: {
type: "object",
properties: { item: { type: "string" } },
required: ["item"],
},
},
}],
});
const calls = [];
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta;
for (const tc of delta?.tool_calls ?? []) {
const slot = (calls[tc.index] ??= { id: "", name: "", args: "" });
if (tc.id) slot.id = tc.id;
if (tc.function?.name) slot.name += tc.function.name;
if (tc.function?.arguments) slot.args += tc.function.arguments;
}
}
for (const c of calls) {
console.log(c.name, JSON.parse(c.args));
}
Akışlı bir isteğin, akış bitene kadar eşzamanlılık slotlarınızdan birini tuttuğunu unutmayın. Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir, deneme anahtarı ise 2 ve 60 verir. Bunlardan herhangi birine ulaşmak HTTP 429 hatası ve concurrency veya rate_limited kodu ile sonuçlanır. Kullanım toplamı akışın sonunda bildirilir, bu da maliyet günlüğü için kullanışlıdır.
JSON modu veya bir araç şeması
İkisi de size yapılandırılmış veri sağlar, hangisini kullanmalısınız? Karar veren soru, modelin veri üretip üretmediği veya bir eylem seçip seçmediğidir.
Çıktının kendisinin ürün olduğu durumlarda JSON modu kullanın: bir NPC sayfası, bir etiket listesi, güven alanı içeren bir sınıflandırma. Tüm istemi kontrol edersiniz, bir nesne alırsınız ve ödemek için tek bir istek yaparsınız.
Modelin eylem gerekip gerekmediğine veya birden fazla farklı eylemin mümkün olduğuna karar vermesi gerektiğinde araçları kullanın. Her işlev için bir şema sözleşmeyi belgeler, tool_choice bir çağrıyı zorlayabilir veya izin verebilir ve önceki bölümdeki döngü çok adımlı işleri yönetir. Maliyet, her tur için ek bir istek ve her seferinde girdi olarak sayılan araç tanımlarıdır.
Çıkarma için pratik bir orta yol: istediğiniz alanları parametre olarak alan bir araç tanımlayın ve tool_choice değerini bu işleve ayarlayın. İstemdeki anahtar listesini yazmadan şemanızın yapısını takip eden bir argüman JSON'u alırsınız. Her iki durumda da, sonuca güvenmeden önce doğrulayın ve beklenmedik bir şey üreten herhangi bir istek için X-Request-Id değerini günlüğe kaydedin.
Maliyet nedir
JSON ve araç çağrıları diğer tüm tokenlar gibi faturalandırılır: 1M giriş için $0.15 ve 1M çıktı için $0.50. Araç tanımları her istekte girdi olarak sayılır ve geri gönderdiğiniz her araç sonucu bir sonraki istek girdisine eklenir.
Örnek: 600 tokenlık bir araç şeması ve istem içeren bir araç kullanan asistan dönüşü, 150 tokenlık bir model çağrısı, ardından önceki mesajlar ve bir araç sonucu içeren 900 girdi tokenı ve 200 tokenlık bir yanıt içeren ikinci bir istek.
- İstek bir: 600 giriş ve 150 çıktı. Girdi 600 x $0.15 / 1M = $0.00009. Çıktı 150 x $0.50 / 1M = $0.000075. Ara toplam $0.000165.
- İstek iki: 900 giriş ve 200 çıktı. Girdi 900 x $0.15 / 1M = $0.000135. Çıktı 200 x $0.50 / 1M = $0.0001. Ara toplam $0.000235.
- Tur için toplam: $0.0004.
Bu oranda 1.000 tur $0.40'a mal olur. Kredi, $20 ile $500 arasında tam tutarlarda ön ödemelidir (bonus: $50'den +5%, $100'den +10%, $200'den +15%), TRC20 üzerinde USDT veya Base üzerinde USDC ile kripto para birimiyle ödenir. Güncel rakamlar için fiyatlandırma sayfasına bakın.
Sonraki adımlar
Her istek alanı için referans API belgelerinde yer alır. Gerçek trafik için bir uygulama hazırlıyorsanız, okumanız gereken bir sonraki sayfa üretim kontrol listesidir ve bir istek beklenmedik şekilde davranırsa destek yardımcı olabilir. X-Request-Id başlığında dönen istek kimliğinizi elinizin altında tutun.
Hizmet yalnızca metin içerir ve bağlam penceresi araç tanımlarınızı ve sonuçlarınızı dahil ederek 100.000 token'dır. Reşit olmayanların yer aldığı cinsel içeriklere izin verilmez ve bu, düz sohbet için olduğu gibi yapılandırılmış ve araç destekli çıktılar için de geçerlidir.
