stream: true, um inkrementelle Tokens als Server-Sent
Events statt einer einzigen finalen Antwort zu erhalten. Die Latenz
bis zum ersten Token sinkt auf eine einzige Netzwerk-Roundtrip.
OpenAI-kompatibel (Chat / Responses)
data: {...}. Der Stream endet mit data: [DONE].
Um das finale usage-Objekt innerhalb des Streams zu erhalten,
übergib stream_options: { include_usage: true } — der Chunk
direkt vor [DONE] enthält Token-Zählungen.
Anthropic Messages
Anthropic verwendet benannte SSE-Ereignisse. Auf der erstklassigen Anthropic-Oberfläche von OrcaRouter kommt der vollständige Satz, den Anthropic emittiert, direkt durch:data: {...}-JSON-Zeile.
Fehler während eines Streams
Mitten im Stream emittierte Fehler können keine HTTP-Statuscodes verwenden (der Status wurde beim Öffnen des Streams gesendet). Siehe Betrieb / Fehler für die In-Band-Fehlerformen.Streaming und Fallback
Sobald ein Byte der Antwort an den Client gesendet wurde, kann OrcaRouter nicht mehr auf den nächsten Ketteneintrag zurückgreifen — siehe die Streaming-Warnung in Modell-Fallbacks.Nächste Schritte
Tool-Aufrufe
Streame Tool-Call-Deltas, sobald sie ankommen.
Fehler
Behandle Fehler mitten im Stream.
