stream: true を設定すると、1 つの完成レスポンスではなく、Server-Sent
Events として増分トークンを受け取れます。最初のトークンまでの遅延が
1 回のネットワーク往復にまで縮まります。
OpenAI 互換 (Chat / Responses)
data: {...} です。ストリームは data: [DONE] で終わります。
ストリーム内で最終的な usage オブジェクトを取得するには、
stream_options: { include_usage: true } を渡します——[DONE] の
直前のチャンクにトークン数が含まれます。
Anthropic Messages
Anthropic は 名前付き SSE イベント を使います。OrcaRouter の 第一級 Anthropic インターフェースでは、Anthropic が発するイベントの すべてがそのまま流れます:data: {...} の JSON 行が続きます。
ストリーム中のエラー
ストリーム中に発生したエラーは HTTP ステータスコードを使えません (ステータスはストリームが開いた時に既に送られています)。インバンド のエラー形式は 運用 / エラー を参照 してください。ストリーミングとフォールバック
レスポンスの最初の 1 バイトでもクライアントに送信されると、 OrcaRouter はチェーンの次のエントリにフォールバックできなくなります ——モデルフォールバック のストリーミング 注意を参照してください。次のステップ
ツール呼び出し
ツール呼び出しの差分をストリーム形式で受け取る。
エラー
ストリーム中の障害に対処する。
