stream: true, aby otrzymywać tokeny przyrostowo jako
Server-Sent Events zamiast jednej finalnej odpowiedzi. Opóźnienie do
pierwszego tokenu spada do jednej rundy sieciowej.
Zgodne z OpenAI (Chat / Responses)
data: {...}. Strumień kończy się data: [DONE].
Aby otrzymać finalny obiekt usage wewnątrz strumienia, przekaż
stream_options: { include_usage: true } — fragment tuż przed
[DONE] zawiera liczbę tokenów.
Anthropic Messages
Anthropic używa nazwanych zdarzeń SSE. Na pierwszorzędnej powierzchni Anthropic w OrcaRouter pełny zestaw, który emituje Anthropic, przechodzi bezpośrednio:data: {...}.
Błędy w trakcie strumienia
Błędy emitowane w trakcie strumienia nie mogą używać kodów statusu HTTP (status został wysłany przy otwarciu strumienia). Zobacz Operacje / Błędy, aby poznać kształty błędów in-band.Streaming a fallback
Gdy choć jeden bajt odpowiedzi został wysłany do klienta, OrcaRouter nie może już przełączyć się na kolejny wpis łańcucha — zobacz uwagę o streamingu w Fallbacki modeli.Następne kroki
Tool calling
Strumieniuj delty wywołań narzędzi, jak nadchodzą.
Błędy
Obsługuj awarie w środku strumienia.
