ストリーミングがもたらすもの
ストリーミングしない場合、APIはモデルが完了するまで応答全体を保持し、その後JSON本文として送信します。長い応答の場合、これは画面が数秒間空白になることを意味します。stream: trueを使用すると、サーバーは同じ応答を一連の小さなイベントとして送信し、各イベントは応答のいくつかの文字を含みます。UIは受信次第それらを表示できます。
ワイヤーフォーマットは通常の HTTP 応答上のサーバー送信イベント (SSE) です。各イベントは data: で始まる行であり、その後に JSON チャンクが続きます。ストリームは data: [DONE] で終了します。OpenAI SDK が処理するため、通常は手動で解析する必要はありません。生のバイトを確認したい場合は、開発者向け概要 でエンドポイントの構成を確認し、API ドキュメント ですべてのパラメータを確認できます。
コードを書く前に決定するべきことが2つあります。まず、ストリームを読むのはブラウザ(あなたのサーバーと通信)か、あなたのサーバーだけかです。次に、接続が途中で切れた場合の対処法です。このページの残りの部分では両方をカバーします。
Python: OpenAI SDKを使用してストリーミング
pip install openaiでSDKをインストールし、Base URLを使用してクライアントを作成し、stream=Trueを渡します。モデルIDはuncensoredです。
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmapi.com/v1",
api_key="YOUR_KEY",
)
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a four-line poem about rain."}],
stream=True,
)
text = []
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
text.append(piece)
print(piece, end="", flush=True)
if getattr(chunk, "usage", None):
usage = chunk.usage
print()
print("tokens:", usage)
ガード chunk.choices and ... に注意してください。使用情報を含む最終チャンクでは choices リストが空の場合があり、インデックスアクセスするとエラーになります。リストにピースを収集して最後に結合することは、長い応答での繰り返し文字列連結よりも安価です。
Node: JavaScriptでの同じ呼び出し
Node用の公式openaiパッケージでは、ストリームは非同期イテレーターです。この例ではESモジュールを使用しています。
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmapi.com/v1",
apiKey: process.env.API_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Name three uses for a stream." }],
stream: true,
});
let full = "";
let usage = null;
for await (const chunk of stream) {
const piece = chunk.choices?.[0]?.delta?.content;
if (piece) {
full += piece;
process.stdout.write(piece);
}
if (chunk.usage) usage = chunk.usage;
}
console.log("\nusage:", usage);
SDKを使用したくない場合、fetchも使用可能です:同じJSONボディをstream: trueで送信し、response.bodyをTextDecoderで読み取り、空白行で分割します。SDKは、チャンク境界でイベントが半分に分けられる場合の処理を省略できますが、これは手書きパーサーでよくあるバグです。
使用量と残高の読み取り
使用量はストリームの末尾で報告されます。これはコスト追跡のためにログに記録すべき数値であり、残高が課金される対象です。入力トークン100万あたり$0.15、出力トークン100万あたり$0.50で、入力トークン1,200と出力トークン800の返信のコストは、1,200 x 0.15 / 1,000,000 + 800 x 0.50 / 1,000,000 = $0.00018 + $0.0004 = $0.00058です。
すべての応答には、残高クレジットを含むX-Balance-USDヘッダーが含まれているため、2回目のリクエストなしで低残高警告を表示できます。また、GET /v1/balanceをタイマーで呼び出すこともできます。失敗または拒否されたリクエストは課金されないため、最初のトークンが出る前のエラーは無料です。
同じ応答ヘッダーにはX-Request-Idが含まれています。ストリームごとのログ行の横に保存してください。ストリームが奇妙な動作をした場合、そのIDはリクエストを見つけるためにサポートに渡すものです。
ストリームの切断とその対処法
ストリームは切断されます。電話がWi-Fiからモバイルデータに切り替わる、プロキシがアイドル接続を閉じる、ユーザーがタブを閉じるなど。最初から計画を立ててください。
部分的なテキストを保持する
到着するたびにすべてのピースをバッファに追加し、ループ終了時または例外発生時にバッファを保存します。ストリームが失敗した場合でも、使用可能な部分的な応答が得られます。それを破棄するのではなく、再試行ボタンで表示してください。
再試行または継続
最も簡単なリカバリは、元のリクエストを再送信することです。短い返信の場合、これは問題ありません。長い返信の場合、保存された部分的なテキストをアシスタントメッセージとして送信し、モデルに停止した場所から継続を依頼できます。結果は最初のストリームが生成したものと一致しない可能性があるため、最善の努力として扱い、正確さが重要である場合はUIでラベルを付けてください。
放棄したものを閉じる
ストリーミングリクエストはストリームが終了するまで同時実行スロットを占有します。通常キーでは同時に 8 リクエストまで、無料トライアルキーでは 2 リクエストまで可能です。ユーザーが離れてもサーバーがストリームの読み取りを続けていると、そのスロットは占有されたままになります。クライアントが切断されたらリクエストをキャンセルしてください。Python では stream.close() を、Node では stream.controller.abort() を呼び出します。
ブラウザへのストリーミングのリレー
API キーをブラウザのコードに直接含めないでください。一般的な構成は、API を stream: true で呼び出し、各ピースをページに転送する、あなたのサーバー上の小さなエンドポイントです。Node の Express では、Content-Type: text/event-stream を設定し、各ピースを data: ... の後に空白行を付けて書き出し、リクエストの close イベントを監視してアップストリームの呼び出しを中止します。ページでは、EventSource が GET エンドポイントを処理し、リーダー付きの fetch が POST ボディを処理します。これはメッセージ履歴を送信する際に必要です。
メッセージ履歴をサーバーまたはリクエスト本文に保持し、会話が長くなった場合は最も古いターンを削除してください。コンテキストウィンドウはプロンプトと出力を合わせて 100,000 トークンですが、これは大量のチャットに相当します。ただし、長時間のセッションでは最終的にこれに達します。
ストリーミング中のレート制限
制限はフルキーで1分あたり300リクエスト、8つの同時リクエスト、トライアルキーで1分あたり60、2つの同時です。超過するとHTTP 429が返されます。エラーコードはどの制限に到達したかを示します:rate_limitedは1分あたりのリクエストが多すぎることを、concurrencyは同時に多すぎることを意味します。一時的な過負荷時には、APIはRetry-After: 5ヘッダー付きで429も返します。
429はトークンがストリーミングされる前に到着するため、読み始める前にそれを処理してください。小さな再試行ラッパーで十分です:
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.uncensoredllmapi.com/v1", api_key="YOUR_KEY")
def open_stream(messages, tries=4):
for n in range(tries):
try:
return client.chat.completions.create(
model="uncensored", messages=messages, stream=True
)
except RateLimitError as e:
wait = 5 if n == 0 else 5 * (n + 1)
time.sleep(wait)
raise RuntimeError("still rate limited")
多くのユーザーがいるチャットアプリの場合、concurrency エラーに対する本当の解決策は、同時に接続中のストリームが 8 個を超えないようにする、サーバー側の小さなキューです。
ストリーミングチャット出荷前のチェックリスト
- 最後のチャンクで空の
choicesをガードする。 - 部分的なテキストをバッファリングし、エラー時に永続化する。
- ブラウザが切断されたらアップストリームリクエストを中止する。
- 同時実行数の上限を設けて、ライブストリームを制限します。
- ストリームごとに使用量とリクエストIDをログに記録する。
- サーバーの前面にあるリバースプロキシで応答バッファリングをオフにします。そうしないと、トークンはバーストで到着します。
最後のポイントは多くの最初のデプロイメントでつまずきます。例えばNginxはデフォルトでプロキシされた応答をバッファリングするため、ストリームはローカルでは機能しますが、そのルートのバッファリングが無効になるまでプロダクションではフリーズしたように見えます。自由なテキストの代わりにJSON出力については、JSONモードのノートをご覧ください。上記のコードを試すには、APIキーを作成してください。新しいアカウントはワンクリックで7日間有効な$0.50のトライアルクレジットを受け取れます。トップアップは暗号資産のみ(TRC20上のUSDTまたはBase上のUSDC)、$20から。
