Những gì truyền phát mang lại cho bạn
Không có truyền phát, API giữ toàn bộ câu trả lời cho đến khi mô hình hoàn tất, sau đó gửi nó dưới dạng một thân JSON duy nhất. Đối với một câu trả lời dài, điều này có thể có nghĩa là nhiều giây màn hình trống. Với stream: true, máy chủ gửi cùng một câu trả lời dưới dạng một chuỗi các sự kiện nhỏ, mỗi sự kiện chứa một vài ký tự của câu trả lời, và giao diện người dùng của bạn có thể in chúng khi chúng đến.
Định dạng trên dây là các sự kiện gửi bởi máy chủ (SSE) qua phản hồi HTTP thông thường. Mỗi sự kiện là một dòng bắt đầu bằng data: theo sau là một chunk JSON, và luồng kết thúc bằng data: [DONE]. Bạn hiếm khi phân tích cú pháp điều này bằng tay, vì các SDK OpenAI làm điều đó cho bạn. Nếu bạn muốn xem các byte thô, tổng quan dành cho nhà phát triển hiển thị cấu trúc endpoint và tài liệu API liệt kê mọi tham số.
Có hai điều đáng cân nhắc trước khi bạn viết mã. Đầu tiên, ai sẽ đọc luồng: trình duyệt giao tiếp với máy chủ của bạn, hay chỉ máy chủ của bạn. Thứ hai, bạn làm gì khi kết nối bị gián đoạn giữa chừng. Phần còn lại của trang này bao gồm cả hai.
Python: truyền phát với SDK OpenAI
Cài đặt SDK với pip install openai, tạo client với base URL của chúng tôi và truyền stream=True. ID mô hình là uncensored.
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmapi.com/v1",
api_key="YOUR_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about rain."}],
stream=True,
)
text = []
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
text.append(piece)
print(piece, end="", flush=True)
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
print("tokens:", usage)
Lưu ý về guard chunk.choices and .... Chunk cuối cùng mang thông tin sử dụng có thể có danh sách choices rỗng, và truy cập chỉ mục vào đó sẽ gây ra lỗi. Thu thập các mảnh vào một danh sách và nối chúng ở cuối cũng rẻ hơn việc nối chuỗi lặp lại trên các câu trả lời dài.
Node: cùng một lệnh gọi trong JavaScript
Với gói openai chính thức cho Node, luồng là một iterator bất đồng bộ. Ví dụ này sử dụng các mô-đun ES.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmapi.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Name three uses for a stream." }],
stream: true,
});
let full = "";
let usage = null;
for await (const chunk of stream) {
const piece = chunk.choices?.[0]?.delta?.content;
if (piece) {
full += piece;
process.stdout.write(piece);
}
if (chunk.usage) usage = chunk.usage;
}
console.log("\nusage:", usage);
Nếu bạn không muốn SDK, fetch cũng hoạt động: gửi cùng thân JSON với stream: true, sau đó đọc response.body bằng một TextDecoder và chia nhỏ theo các dòng trống. SDK giúp bạn tránh xử lý các sự kiện bị cắt ngang ở ranh giới chunk, đây là lỗi thường gặp trong các trình phân tích cú pháp viết tay.
Đọc sử dụng và số dư
Thông tin sử dụng được báo cáo ở cuối luồng. Đây là con số bạn nên ghi lại để theo dõi chi phí, vì đây là số tiền được trừ vào số dư của bạn. Tại $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, một phản hồi với 1.200 token đầu vào và 800 token đầu ra có chi phí là 1.200 x 0,15 / 1.000.000 + 800 x 0,50 / 1.000.000 = $0,00018 + $0,0004 = $0,00058.
Mỗi phản hồi cũng bao gồm tiêu đề X-Balance-USD với tín dụng còn lại của bạn, vì vậy bạn có thể hiển thị cảnh báo hết tín dụng mà không cần một yêu cầu thứ hai. Bạn cũng có thể gọi GET /v1/balance theo chu kỳ. Các yêu cầu bị lỗi hoặc từ chối sẽ không được tính phí, nghĩa là một lỗi trước token đầu tiên sẽ không tốn gì.
Các tiêu đề phản hồi tương tự bao gồm X-Request-Id. Hãy lưu nó bên cạnh dòng nhật ký của riêng bạn cho mỗi luồng. Nếu một luồng hoạt động kỳ lạ, ID đó là thứ bạn cung cấp cho bộ phận hỗ trợ để tìm yêu cầu đó.
Luồng bị gián đoạn và cách xử lý
Luồng có thể bị gián đoạn. Điện thoại chuyển từ Wi-Fi sang dữ liệu di động, một proxy đóng kết nối nhàn rỗi, một người dùng đóng tab. Hãy lên kế hoạch cho điều đó ngay từ đầu.
Giữ văn bản một phần
Thêm mọi mảnh vào bộ đệm khi chúng đến và lưu bộ đệm khi vòng lặp kết thúc hoặc ném ra ngoại lệ. Nếu luồng bị lỗi, bạn có một câu trả lời một phần có thể sử dụng được. Hãy hiển thị nó với nút thử lại thay vì loại bỏ nó.
Thử lại hoặc tiếp tục
Cách khôi phục đơn giản nhất là gửi lại yêu cầu gốc. Đối với một phản hồi ngắn thì điều này ổn. Đối với một phản hồi dài, bạn có thể gửi văn bản một phần đã lưu dưới dạng tin nhắn trợ lý và yêu cầu mô hình tiếp tục từ nơi nó dừng lại. Kết quả có thể không khớp với những gì luồng đầu tiên sẽ tạo ra, vì vậy hãy coi đó là nỗ lực tốt nhất và dán nhãn nó trong giao diện người dùng của bạn nếu độ chính xác tuyệt đối quan trọng.
Đóng những gì bạn bỏ rơi
Một yêu cầu được truyền phát chiếm slot đồng thời của nó cho đến khi luồng kết thúc. Khóa đầy đủ cho phép 8 yêu cầu cùng lúc, và khóa dùng thử chỉ cho phép 2. Nếu máy chủ của bạn tiếp tục đọc một luồng cho một người dùng đã rời đi, slot đó vẫn bận. Hãy hủy yêu cầu khi máy khách ngắt kết nối. Trong Python, gọi stream.close(); trong Node, gọi stream.controller.abort().
Chuyển tiếp luồng đến trình duyệt
Không bao giờ đặt khóa API của bạn trong mã trình duyệt. Cấu hình thông thường là một endpoint nhỏ trên máy chủ của riêng bạn gọi API với stream: true và chuyển tiếp từng mảnh đến trang. Trong Node với Express, đặt Content-Type: text/event-stream, ghi từng mảnh dưới dạng data: ... theo sau là một dòng trống và lắng nghe sự kiện close trên yêu cầu để hủy lệnh gọi upstream. Trên trang, EventSource xử lý các endpoint GET, trong khi fetch với một trình đọc xử lý các thân POST, đây là những gì bạn cần khi gửi lịch sử tin nhắn.
Giữ lịch sử tin nhắn trên máy chủ của bạn hoặc trong thân yêu cầu và cắt bớt các lượt trò chuyện cũ nhất khi cuộc trò chuyện trở nên dài. Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng với câu trả lời, điều này rất nhiều cho trò chuyện, nhưng một phiên dài sẽ đạt đến giới hạn đó cuối cùng.
Giới hạn tốc độ trong khi truyền phát
Các giới hạn là 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời trên khóa đầy đủ, và 60 mỗi phút và 2 đồng thời trên khóa dùng thử. Vượt quá sẽ trả về HTTP 429. Mã lỗi cho bạn biết giới hạn nào bạn đã chạm: rate_limited có nghĩa là quá nhiều yêu cầu mỗi phút, và concurrency có nghĩa là quá nhiều cùng một lúc. Khi quá tải tạm thời, API cũng trả về 429 với tiêu đề Retry-After: 5.
Vì lỗi 429 đến trước khi bất kỳ token nào được truyền phát, hãy xử lý nó trước khi bạn bắt đầu đọc. Một trình bao bọc thử lại nhỏ là đủ:
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.uncensoredllmapi.com/v1", api_key="YOUR_KEY")
def open_stream(messages, tries=4):
for n in range(tries):
try:
return client.chat.completions.create(
model="uncensored", messages=messages, stream=True
)
except RateLimitError as e:
wait = 5 if n == 0 else 5 * (n + 1)
time.sleep(wait)
raise RuntimeError("still rate limited")
Đối với các ứng dụng trò chuyện có nhiều người dùng, giải pháp thực sự cho các lỗi concurrency là một hàng đợi nhỏ ở phía bạn cho phép không quá 8 luồng trực tiếp cùng một lúc.
Danh sách kiểm tra trước khi phát hành ứng dụng trò chuyện truyền phát
- Bảo vệ chống lại
choicesrỗng trong chunk cuối cùng. - Bộ đệm văn bản một phần và lưu nó khi có lỗi.
- Hủy yêu cầu upstream khi trình duyệt ngắt kết nối.
- Giới hạn các luồng trực tiếp ở giới hạn đồng thời của bạn.
- Ghi nhật ký sử dụng và ID yêu cầu cho mỗi luồng.
- Tắt đệm phản hồi trên bất kỳ proxy ngược nào phía trước máy chủ của bạn, nếu không token sẽ đến theo từng đợt.
Điểm cuối cùng thường gây khó khăn cho nhiều lần triển khai đầu tiên. Ví dụ, Nginx mặc định đệm các phản hồi được chuyển tiếp, do đó luồng hoạt động trên localhost nhưng trông như bị đóng băng trong môi trường production cho đến khi bộ đệm được vô hiệu hóa cho tuyến đó. Để xuất kết quả dưới dạng JSON thay vì văn bản tự do, hãy xem các ghi chú về chế độ JSON. Để thử đoạn mã trên, tạo khóa API; tài khoản mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, có hiệu lực trong 7 ngày. Nạp tiền chỉ chấp nhận tiền mã hóa (USDT trên TRC20 hoặc USDC trên Base), từ $20.
