Hai hình dạng sản phẩm khác nhau
OpenRouter, theo mô tả công khai của họ, là một API cung cấp quyền truy cập vào danh mục lớn các mô hình từ nhiều nhà cung cấp. Bạn chọn mô hình theo tên cho mỗi yêu cầu, và cổng sẽ chuyển tiếp nó. Thiết kế này tập trung vào sự lựa chọn: bạn có thể thử hàng tá mô hình trong một buổi chiều và chuyển đổi giữa chúng khi các mô hình mới xuất hiện.
Dịch vụ này được thiết kế hẹp hơn. Nó cung cấp một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. ID mô hình luôn là uncensored. Không có danh mục và không có chuyển tuyến giữa các nhà cung cấp. Nó cũng không phải là API chính thức của bất kỳ nhà sản xuất mô hình nào, điều này đáng được nêu rõ ràng.
Vì vậy, so sánh không phải là "cái nào tốt hơn". Đó là "bạn cần sự đa dạng, hay cần một hành vi đáng tin cậy duy nhất?" Phần còn lại của trang này sẽ giải thích các khác biệt ảnh hưởng đến lựa chọn đó.
So sánh nhanh từng bên
Bảng chỉ liệt kê những điều đã biết về dịch vụ này và được công khai về các cổng nói chung. Đối với bất kỳ thông tin nào về các mô hình, giá hoặc chính sách hiện tại của OpenRouter, hãy kiểm tra trang web của họ trực tiếp.
| Câu hỏi | Dịch vụ này | Một cổng đa mô hình như OpenRouter |
|---|---|---|
| Số lượng mô hình | Một (uncensored) | Nhiều, từ nhiều nhà cung cấp |
| Giao thức | Hoàn thành chat tương thích OpenAI | Tương thích OpenAI |
| Hành vi từ chối | Được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp | Khác nhau tùy mô hình và nhà cung cấp; hãy kiểm tra từng cái |
| Giá | $0.15 cho mỗi 1M token đầu vào, $0.50 cho mỗi 1M token đầu ra | Thay đổi tùy mô hình; hãy kiểm tra giá hiện tại |
| Cửa sổ ngữ cảnh | 100,000 token | Thay đổi tùy mô hình |
| Chế độ | Chỉ văn bản | Kiểm tra danh sách mô hình |
| Thanh toán tại đây | Chỉ tiền mã hóa (USDT trên TRC20, USDC trên Base) | Kiểm tra các tùy chọn thanh toán của họ |
| Sử dụng dữ liệu | Các prompt không được sử dụng để huấn luyện | Kiểm tra theo nhà cung cấp |
Mẫu hình rất rõ ràng: bất cứ nơi nào hàng ghi "thay đổi", cổng mang lại cho bạn sự linh hoạt và bạn phải hy sinh một câu trả lời cố định duy nhất. Bất cứ nơi nào cột bên trái có giá trị cụ thể, bạn nhận được sự dự đoán được và hy sinh các tùy chọn.
Khi nào cổng là lựa chọn tốt hơn
Hãy trung thực với chính mình về yêu cầu của bạn. Một cổng đa mô hình phù hợp hơn khi:
- Bạn muốn so sánh các mô hình. Nếu một phần công việc của bạn là đánh giá mô hình nào viết tốt nhất cho nhiệm vụ của bạn, một danh mục sẽ giúp bạn tránh việc mở hàng tá tài khoản nhà cung cấp.
- Bạn cần hơn cả văn bản. Dịch vụ này không có khả năng tạo hình ảnh, âm thanh hoặc video, không có embedding và không có fine-tuning. Nếu sản phẩm của bạn cần bất kỳ tính năng nào trong số đó, bạn vẫn cần một nguồn khác.
- Bạn muốn dự phòng giữa các nhà cung cấp. Một mô hình trên một nhà cung cấp là một điểm thất bại đơn lẻ. Một cổng có thể định tuyến vòng qua sự cố là lợi thế thực sự cho một số ứng dụng.
- Bạn cần ngữ cảnh rất lớn. Cửa sổ ngữ cảnh của chúng tôi là 100,000 token cho prompt cộng với kết quả. Các mô hình khác có thể cung cấp nhiều hơn, vì vậy hãy kiểm tra mô hình bạn quan tâm.
- Bạn cần phương thức thanh toán khác. Trang web này chỉ chấp nhận tiền mã hóa. Nếu nhóm của bạn không thể thanh toán theo cách đó, vấn đề đã được giải quyết.
Không có gì trong số đó là lời chỉ trích cho bên nào. Đó là danh sách những điều một dịch vụ một mô hình không cố gắng thực hiện.
Khi nào endpoint chuyên dụng xứng đáng được chọn
Lý do cho tùy chọn hẹp chủ yếu là về sự dự đoán được.
Hành vi bạn có thể lập kế hoạch dựa vào. Trên một cổng, "không kiểm duyệt" là thuộc tính của mô hình cụ thể và nhà cung cấp phục vụ nó. Các nhà cung cấp có thể áp dụng kiểm duyệt riêng, mô hình có thể được thay thế hoặc ngừng hoạt động, và cùng một tên mô hình có thể hoạt động khác nhau trên các máy chủ khác nhau. Với một mô hình cố định, các bài kiểm tra của bạn từ tháng trước vẫn mô tả chính xác những gì bạn đang gọi ngày hôm nay. Bạn vẫn cần các bài kiểm tra hồi quy của riêng mình, nhưng phạm vi chúng bao phủ nhỏ hơn.
Một mức giá để đưa vào bảng tính. Ở mức $0.15 cho mỗi 1 triệu token đầu vào và $0.50 cho mỗi 1 triệu token đầu ra, một lượt chat với 3.000 token đầu vào và 250 token đầu ra tốn 3.000 x $0.15 / 1 triệu = $0.00045 cộng 250 x $0.50 / 1 triệu = $0.000125, tổng cộng $0.000575. Một nghìn lượt chat tốn $0.575. Không cần tra cứu theo mô hình, và các yêu cầu bị từ chối hoặc lỗi không bị tính phí.
Các thao tác đơn giản. Khóa đầy đủ nhận được 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Phản hồi 429 mang mã rate_limited hoặc concurrency, và quá tải tạm thời thêm Retry-After: 5. Đó là toàn bộ mô hình giới hạn tốc độ.
Tín dụng trả trước không bao giờ hết hạn. Nạp tiền từ $20 đến $500 theo số nguyên đô la, với +5% từ $50, +10% từ $100 và +15% từ $200. Không có gói đăng ký nào để bạn phải lo lắng. Chi tiết có trên trang giá cả.
Việc chuyển đổi hoặc thử cả hai tốn gần như không đáng kể
Vì cả hai bên đều sử dụng giao thức OpenAI, việc bị khóa lại rất ít. Hãy giữ tên mô hình và base URL trong cấu hình, và bạn có thể chạy cùng một prompt cho cả hai. Đây là một kịch bản so sánh cho endpoint chuyên dụng; đối với cổng, hãy thay thế các giá trị từ bảng điều khiển của nhà cung cấp đó.
import os
from openai import OpenAI
targets = {
"dedicated": {
"base_url": "https://api.uncensoredllmapi.com/v1",
"key": os.environ["UNCENSORED_API_KEY"],
"model": "uncensored",
},
# Fill this in from the gateway's own docs and dashboard:
# "gateway": {"base_url": "...", "key": "...", "model": "..."},
}
prompt = "Write a menacing two-sentence speech for a fantasy tyrant."
for name, t in targets.items():
client = OpenAI(base_url=t["base_url"], api_key=t["key"])
r = client.chat.completions.create(
model=t["model"],
messages=[{"role": "user", "content": prompt}],
max_tokens=200,
)
print(name, "->", r.choices[0].message.content)
Hãy sử dụng đúng các prompt mà sản phẩm của bạn sẽ thực sự gửi, bao gồm cả những trường hợp ranh giới. Đếm số lần từ chối, ghi chú giọng điệu và so sánh chi phí cho mỗi nghìn yêu cầu bằng bảng giá của từng bên. Để thử nghiệm đầu tiên tại đây, hãy nhận tín dụng dùng thử $0.50 trên trang khóa API. Tín dụng này có hiệu lực trong 7 ngày, mỗi người một lần và không cần thanh toán. Với 2.000 token đầu vào và 500 token đầu ra cho mỗi lệnh gọi (khoảng $0.00055 mỗi lệnh gọi), bạn có thể thực hiện khoảng 900 lệnh gọi.
Cách đưa ra quyết định
Một quy tắc quyết định ngắn gọn hoạt động cho hầu hết các nhóm:
- Nếu bạn cần nhiều mô hình, các phương thức khác hoặc dự phòng giữa các nhà cung cấp, hãy sử dụng cổng và kiểm tra hành vi từ chối trên mô hình chính xác bạn chọn.
- Nếu bạn cần tạo văn bản không từ chối các yêu cầu hợp pháp của người lớn, với một mức giá đã biết, hãy sử dụng endpoint chuyên dụng.
- Nếu bạn không chắc chắn, hãy chạy kịch bản trên trong một giờ. Cả hai đều rẻ để thử.
Một số nhóm sử dụng cả hai: một cổng cho các thử nghiệm và nhiệm vụ chung, và một endpoint đáng tin cậy duy nhất cho một tính năng mà sự từ chối làm hỏng sản phẩm. Chi tiết thiết lập cho dịch vụ của chúng tôi có trong tài liệu, và danh sách kiểm tra sản xuất bao gồm những gì cần xem xét trước khi phát hành.
Một quy tắc vẫn cố định bất kể nhà cung cấp: dịch vụ này không cho phép nội dung tình dục liên quan đến người chưa thành niên, và bạn chịu trách nhiệm về những gì ứng dụng của bạn công bố.
