उत्पाद के दो अलग-अलग रूप
OpenRouter, जैसा कि यह सार्वजनिक रूप से स्वयं को वर्णित करता है, एक एकल API है जो कई प्रदाताओं के मॉडल के बड़े कैटलॉग तक पहुँच प्रदान करता है। आप प्रत्येक अनुरोध के लिए मॉडल का नाम चुनते हैं, और गेटवे उसे आगे बढ़ाता है। यह डिज़ाइन विकल्पों के इर्द-गिर्द बनाया गया है: आप एक दोपहर में एक दर्जन मॉडल आज़मा सकते हैं और जैसे ही नए मॉडल आते हैं, उनके बीच स्थानांतरित हो सकते हैं।
यह सेवा जानबूझकर संकीर्ण है। यह एक ओपन-वेट मॉडल प्रकट करता है, जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकार के उत्तर देने के लिए ट्यून्ड है। मॉडल ID हमेशा uncensored होती है। कोई कैटलॉग नहीं है और न ही प्रदाताओं के बीच रूटिंग है। यह किसी भी मॉडल निर्माता की आधिकारिक API भी नहीं है, जिसे स्पष्ट रूप से कहना महत्वपूर्ण है।
तो तुलना "कौन सा बेहतर है" नहीं है। यह "क्या आपको विस्तार की आवश्यकता है, या क्या आपको एक विश्वसनीय व्यवहार की आवश्यकता है?" इस पृष्ठ का शेष भाग उस विकल्प को प्रभावित करने वाले अंतरों पर चर्चा करता है।
एक नज़र में साइड-बाय-साइड
टेबल में केवल उन बातों की सूची है जो इस सेवा के बारे में ज्ञात हैं और गेटवे के सामान्य बारे में सार्वजनिक रूप से घोषित हैं। OpenRouter के वर्तमान मॉडल, मूल्य या नीतियों के बारे में किसी भी बात के लिए, कृपया सीधे उनकी साइट देखें।
| प्रश्न | यह सेवा | OpenRouter जैसा एक बहु-मॉडल गेटवे |
|---|---|---|
| मॉडलों की संख्या | एक (uncensored) | बहुत सारे, कई प्रदाताओं से |
| API फ़ॉर्मेट | OpenAI-कम्पैटिबल चैट कंप्लीशन | OpenAI-संगत |
| इनकार व्यवहार | कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड | मॉडल और प्रदाता के अनुसार अलग-अलग; प्रत्येक की जाँच करें |
| कीमत | $0.15 प्रति 1M इनपुट, $0.50 प्रति 1M आउटपुट | मॉडल के अनुसार अलग-अलग; वर्तमान मूल्य देखें |
| कॉन्टेक्स्ट विंडो | 100,000 टोकन | मॉडल के अनुसार अलग-अलग |
| विधियाँ | केवल टेक्स्ट | मॉडल सूची देखें |
| यहाँ भुगतान करें | केवल क्रिप्टो (TRC20 पर USDT, Base पर USDC) | उनके भुगतान विकल्प देखें |
| डेटा उपयोग | प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता | प्रदाता के अनुसार जाँचें |
पैटर्न स्पष्ट है: जहाँ किसी पंक्ति में "अलग-अलग" लिखा है, गेटवे आपको लचीलापन देता है और आप एक निश्चित उत्तर से समझौता करते हैं। जहाँ बाईं स्तंभ में कोई ठोस मान है, आपको स्थिरता मिलती है और आप विकल्पों से समझौता करते हैं।
जहाँ गेटवे बेहतर विकल्प है
अपनी आवश्यकताओं के बारे में ईमानदार रहें। एक बहु-मॉडल गेटवे तब बेहतर फिट बैठता है जब:
- आप मॉडल की तुलना करना चाहते हैं। यदि आपका काम इस मूल्यांकन का हिस्सा है कि कौन सा मॉडल आपके कार्य के लिए सबसे अच्छा लिखता है, तो एक कैटलॉग आपको एक दर्जन विक्रेता खातों को खोलने से बचाता है।
- आपको टेक्स्ट से अधिक की आवश्यकता है। इस सेवा में न तो छवि, ऑडियो या वीडियो जनरेशन है, न ही एम्बेडिंग्स और न ही फाइन-ट्यूनिंग। यदि आपके उत्पाद को उनमें से किसी की भी आवश्यकता है, तो आपको किसी अन्य स्रोत की आवश्यकता होगी।
- आप प्रदाताओं के बीच फॉलबैक चाहते हैं। एक प्रदाता पर एक मॉडल एक विफलता बिंदु है। एक गेटवे जो एक आउटेज के आसपास रूट कर सकता है, कुछ एप्लिकेशन के लिए एक वास्तविक लाभ है।
- आपको एक बहुत बड़ा कॉन्टेक्स्ट विंडो चाहिए। हमारी विंडो प्रॉम्प्ट और कंप्लीशन के लिए 100,000 टोकन है। अन्य मॉडल अधिक प्रदान कर सकते हैं, इसलिए उस पर जाँच करें जिसमें आपकी रुचि है।
- आपको भुगतान का एक अलग तरीका चाहिए। यह साइट केवल क्रिप्टो स्वीकार करती है। यदि आपकी टीम उसी तरीके से भुगतान नहीं कर सकती, तो यह बात तय है।
इनमें से कोई भी बात न तो एक पक्ष की आलोचना है और न ही दूसरी की। यह उन बातों की सूची है जिनका प्रयास एक-मॉडल वाला सेवा नहीं करता।
जहाँ एक समर्पित एंडपॉइंट अपना स्थान बनाता है
संकीर्ण विकल्प के पक्ष में मुख्य तर्क स्थिरता के बारे में है।
व्यवहार जिस पर आप योजना बना सकते हैं। गेटवे पर, "बिना सेंसर" एक व्यक्तिगत मॉडल और उसे सर्व करने वाले प्रदाता की संपत्ति है। प्रदाता अपनी मॉडरेशन लागू कर सकते हैं, मॉडल बदले या बंद किए जा सकते हैं, और एक ही मॉडल नाम अलग-अलग होस्ट्स पर अलग व्यवहार कर सकता है। एक स्थिर मॉडल के साथ, पिछले महीने की आपकी टेस्ट्स आज जो कॉल कर रहे हैं, उसे ही बताती हैं। आपको अभी भी अपनी रिग्रेशन टेस्ट्स की जरूरत है, लेकिन वे जो कवर करती हैं, वह सतह छोटी है।
स्प्रेडशीट में डालने के लिए एक ही कीमत। 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50 पर, 3,000 इनपुट टोकन और 250 आउटपुट टोकन वाले चैट टर्न की लागत 3,000 x $0.15 / 1M = $0.00045 प्लस 250 x $0.50 / 1M = $0.000125, यानी $0.000575 होती है। एक हजार टर्न की लागत $0.575 है। प्रति मॉडल लुकअप की जरूरत नहीं है, और फेल या रिफ्यूज किए गए अनुरोधों के लिए चार्ज नहीं किया जाता है।
सरल संचालन। एक पूर्ण कुंजी को 8 समानांतर अनुरोध और प्रति मिनट 300 मिलते हैं। 429 प्रतिक्रिया में rate_limited या concurrency कोड होता है, और अस्थायी ओवरलोड Retry-After: 5 जोड़ता है। यही पूरा रेट लिमिट मॉडल है।
प्रीपेड क्रेडिट जो कभी खत्म नहीं होता। $20 से $500 तक पूर्ण डॉलर में टॉप-अप करें, $50 से +5%, $100 से +10% और $200 से +15% बोनस के साथ। भूलने के लिए कोई सब्सक्रिप्शन नहीं है। मूल्य निर्धारण पृष्ठ पर विवरण दिए गए हैं।
बदलने या दोनों को आज़माने की लागत लगभग शून्य है
चूंकि दोनों ओर OpenAI प्रोटोकॉल का उपयोग किया जाता है, इसलिए लॉक-इन न्यूनतम है। कॉन्फ़िगरेशन में अपना मॉडल नाम और बेस URL रखें, और आप किसी भी एक के खिलाफ समान प्रॉम्प्ट चला सकते हैं। समर्पित एंडपॉइंट के लिए यहाँ एक तुलनात्मक स्क्रिप्ट है; गेटवे के लिए, उस प्रदाता के डैशबोर्ड से मान बदलें।
import os
from openai import OpenAI
targets = {
"dedicated": {
"base_url": "https://api.uncensoredllmapi.com/v1",
"key": os.environ["UNCENSORED_API_KEY"],
"model": "uncensored",
},
# Fill this in from the gateway's own docs and dashboard:
# "gateway": {"base_url": "...", "key": "...", "model": "..."},
}
prompt = "Write a menacing two-sentence speech for a fantasy tyrant."
for name, t in targets.items():
client = OpenAI(base_url=t["base_url"], api_key=t["key"])
r = client.chat.completions.create(
model=t["model"],
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
print(name, "->", r.choices[0].message.content)
उसी प्रॉम्प्ट्स का उपयोग करें जो आपका प्रोडक्ट वास्तव में भेजेगा, जिसमें बॉर्डरलाइन वाले भी शामिल हैं। रिफ्यूजल की गिनती करें, टोन नोट करें, और प्रत्येक साइड की अपनी प्राइस लिस्ट का उपयोग करके प्रति हजार अनुरोध लागत की तुलना करें। यहाँ पहले टेस्ट के लिए, API कुंजी पेज पर $0.50 का ट्रायल क्रेडिट क्लेम करें। यह 7 दिनों के लिए मान्य है, प्रति व्यक्ति एक, और इसके लिए भुगतान की जरूरत नहीं है। प्रति कॉल 2,000 इनपुट और 500 आउटपुट टोकन (लगभग $0.00055 प्रत्येक) पर, यह लगभग 900 कॉल कवर करता है।
निर्णय कैसे लें
एक छोटा निर्णय नियम अधिकांश टीमों के लिए काम करता है:
- यदि आपको कई मॉडल, अन्य मॉडेलिटी या क्रॉस-प्रदाता फॉलबैक की आवश्यकता है, तो एक गेटवे का उपयोग करें, और उस सटीक मॉडल पर अस्वीकृति व्यवहार का परीक्षण करें जिसे आप चुनते हैं।
- यदि आपको टेक्स्ट जनरेशन की आवश्यकता है जो कानूनी वयस्क अनुरोधों को अस्वीकार नहीं करता है, एक ज्ञात कीमत पर, समर्पित एंडपॉइंट का उपयोग करें।
- यदि आप निश्चित नहीं हैं, तो ऊपर दी गई स्क्रिप्ट को एक घंटे के लिए चलाएं। दोनों को आज़माना सस्ता है।
कुछ टीमें दोनों का उपयोग करती हैं: प्रयोगों और सामान्य कार्यों के लिए एक गेटवे, और उस एक विशेषता के लिए एक विश्वसनीय एंडपॉइंट जहाँ रिफ्यूज़ल उत्पाद को खराब कर देते हैं। हमारे सेटअप विवरण दस्तावेज़ीकरण में हैं, और प्रोडक्शन चेकलिस्ट लॉन्च से पहले समीक्षा करने योग्य बातों को कवर करता है।
एक नियम प्रदाता से स्वतंत्र रूप से निश्चित रहता है: यह सेवा नाबालिगों से जुड़ी यौन सामग्री की अनुमति नहीं देती है, और आप अपने एप्लिकेशन द्वारा प्रकाशित किए जाने वाले विषय के लिए जिम्मेदार हैं।
