Dua bentuk produk berbeda
OpenRouter, sebagaimana dijelaskan secara publik, adalah satu API yang memberikan akses ke katalog besar model dari banyak penyedia. Anda memilih model berdasarkan nama untuk setiap permintaan, dan gateway meneruskannya. Desain ini dibangun di sekitar pilihan: Anda dapat mencoba selusin model dalam satu sore dan berpindah saat model baru muncul.
Layanan ini sengaja lebih sempit. Ini mengekspos satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. ID modelnya selalu uncensored. Tidak ada katalog dan tidak ada pengalihan antar vendor. Ini juga bukan API resmi dari pembuat model mana pun, yang perlu disebutkan secara jelas.
Jadi perbandingannya bukan "mana yang lebih baik". Ini adalah "apakah Anda membutuhkan variasi, ataukah Anda membutuhkan satu perilaku yang dapat diandalkan?" Sisa halaman ini membahas perbedaan yang memengaruhi pilihan tersebut.
Perbandingan langsung sekilas
Tabel hanya mencantumkan hal-hal yang diketahui tentang layanan ini dan secara publik dinyatakan tentang gateway secara umum. Untuk apa pun tentang model, harga, atau kebijakan OpenRouter saat ini, periksa situs mereka secara langsung.
| Pertanyaan | Layanan ini | Gateway multi-model seperti OpenRouter |
|---|---|---|
| Jumlah model | Satu (uncensored) | Banyak, dari banyak penyedia |
| Protokol | Penyelesaian chat kompatibel OpenAI | Kompatibel dengan OpenAI |
| Perilaku penolakan | Disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah | Bervariasi per model dan penyedia; periksa masing-masing |
| Harga | $0,15 per 1M input, $0,50 per 1M output | Bervariasi per model; periksa harga terbaru |
| Jendela konteks | 100.000 token | Bervariasi per model |
| Modus | Hanya teks | Periksa daftar model |
| Pembayaran di sini | Kripto saja (USDT di jaringan TRC20, USDC di jaringan Base) | Periksa opsi pembayaran mereka |
| Penggunaan data | Prompt tidak digunakan untuk pelatihan | Periksa per penyedia |
Polanya jelas: di mana baris mengatakan "bervariasi", gateway memberikan fleksibilitas dan Anda mengorbankan satu jawaban tetap. Di mana kolom kiri memiliki nilai konkret, Anda mendapatkan prediktabilitas dan mengorbankan opsi.
Kapan gateway menjadi pilihan lebih baik
Jujurlah pada diri sendiri tentang persyaratan Anda. Gateway multi-model lebih cocok ketika:
- Anda ingin membandingkan model. Jika bagian dari pekerjaan Anda adalah mengevaluasi model mana yang menulis terbaik untuk tugas Anda, katalog menghemat Anda dari membuka selusin akun vendor.
- Anda membutuhkan lebih dari teks. Layanan ini tidak memiliki pembuatan gambar, audio, atau video, tidak ada embedding, dan tidak ada penyetelan halus. Jika produk Anda membutuhkan salah satu dari itu, Anda tetap memerlukan sumber lain.
- Anda ingin pilihan pengganti lintas penyedia. Satu model di satu penyedia adalah satu titik kegagalan. Gateway yang dapat mengalihkan lalu lintas saat gangguan adalah keuntungan nyata untuk beberapa aplikasi.
- Anda membutuhkan konteks yang sangat besar. Jendela kami adalah 100.000 token untuk prompt plus completion. Model lain mungkin menawarkan lebih banyak, jadi periksa model yang Anda pedulikan.
- Anda membutuhkan metode pembayaran berbeda. Situs ini hanya menerima kripto. Jika tim Anda tidak dapat membayar dengan cara itu, itu sudah selesai.
Tidak satu pun dari itu merupakan kritik terhadap salah satu pihak. Ini adalah daftar hal-hal yang tidak dicoba oleh layanan satu model.
Kapan endpoint khusus layak dipilih
Kasus untuk opsi sempit sebagian besar tentang prediktabilitas.
Perilaku yang dapat Anda rencanakan. Pada gateway, "uncensored" adalah properti dari model individu dan penyedia yang melayaninya. Penyedia dapat menerapkan moderasi mereka sendiri, model dapat diganti atau pensiun, dan nama model yang sama dapat berperilaku berbeda di berbagai host. Dengan satu model tetap, pengujian Anda dari bulan lalu masih menggambarkan apa yang Anda panggil hari ini. Anda masih perlu pengujian regresi Anda sendiri, tetapi permukaan yang dicakupnya lebih kecil.
Satu harga untuk dimasukkan ke dalam spreadsheet. Pada $0,15 per 1M token input dan $0,50 per 1M token output, satu giliran chat dengan 3.000 token input dan 250 token output biayanya 3.000 x $0,15 / 1M = $0,00045 ditambah 250 x $0,50 / 1M = $0,000125, sehingga $0,000575. Seribu giliran biayanya $0,575. Tidak perlu pencarian harga per model, dan permintaan yang gagal atau ditolak tidak dikenakan biaya.
Operasi sederhana. Kunci penuh mendapat 8 permintaan paralel dan 300 per menit. Respons 429 membawa kode rate_limited atau concurrency, dan kelebihan beban sementara menambahkan Retry-After: 5. Itu adalah seluruh model batas laju.
Saldo prabayar yang tidak kedaluwarsa. Isi saldo dari $20 hingga $500 dalam dolar utuh, dengan +5% dari $50, +10% dari $100 dan +15% dari $200. Tidak ada langganan yang perlu dilupakan. Halaman harga memiliki detailnya.
Beralih atau mencoba keduanya hampir tidak ada biayanya
Karena kedua belah pihak menggunakan protokol OpenAI, ketergantungannya minimal. Simpan nama model dan URL dasar Anda dalam konfigurasi, dan Anda dapat menjalankan prompt yang sama terhadap salah satunya. Berikut adalah skrip berdampingan untuk endpoint khusus; untuk gateway, ganti dengan nilai dari dasbor penyedia tersebut.
import os
from openai import OpenAI
targets = {
"dedicated": {
"base_url": "https://api.uncensoredllmapi.com/v1",
"key": os.environ["UNCENSORED_API_KEY"],
"model": "uncensored",
},
# Fill this in from the gateway's own docs and dashboard:
# "gateway": {"base_url": "...", "key": "...", "model": "..."},
}
prompt = "Write a menacing two-sentence speech for a fantasy tyrant."
for name, t in targets.items():
client = OpenAI(base_url=t["base_url"], api_key=t["key"])
r = client.chat.completions.create(
model=t["model"],
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
print(name, "->", r.choices[0].message.content)
Gunakan prompt yang sama dengan yang akan dikirim produk Anda, termasuk yang berbatasan. Hitung penolakan, catat nadanya, dan bandingkan biaya per seribu permintaan menggunakan daftar harga masing-masing. Untuk pengujian pertama di sini, klaim kredit uji coba $0,50 di halaman kunci API. Kredit ini berlaku selama 7 hari, satu per orang, dan tidak memerlukan pembayaran. Dengan 2.000 token input dan 500 token output per panggilan (sekitar $0,00055 per panggilan), kredit ini mencakup sekitar 900 panggilan.
Cara memutuskan
Aturan keputusan singkat bekerja untuk sebagian besar tim:
- Jika Anda membutuhkan beberapa model, modalitas lain atau fallback lintas penyedia, gunakan gateway, dan uji perilaku penolakan pada model tepat yang Anda pilih.
- Jika Anda membutuhkan generasi teks yang tidak menolak permintaan dewasa yang sah, dengan satu harga yang diketahui, gunakan endpoint khusus.
- Jika Anda tidak yakin, jalankan skrip di atas selama satu jam. Keduanya murah untuk dicoba.
Beberapa tim menggunakan keduanya: gateway untuk eksperimen dan tugas umum, dan satu endpoint dapat diandalkan untuk satu fitur di mana penolakan merusak produk. Detail pengaturan milik kami ada di dokumentasi, dan checklist produksi mencakup apa yang perlu ditinjau sebelum peluncuran.
Satu aturan tetap tidak berubah terlepas dari penyedia: layanan ini tidak memungkinkan konten seksual yang melibatkan anak di bawah umur, dan Anda bertanggung jawab atas apa yang diterbitkan aplikasi Anda.
