stream: true per ricevere token incrementali come Server-Sent Events
invece di un’unica risposta finale. La latenza fino al primo token si riduce
a un singolo round-trip di rete.
Compatibile con OpenAI (Chat / Responses)
data: {...}. Lo stream termina con data: [DONE].
Per ottenere l’oggetto finale usage all’interno dello stream, passa
stream_options: { include_usage: true } — il chunk subito prima di
[DONE] includerà il conteggio dei token.
Anthropic Messages
Anthropic usa eventi SSE con nome. Sulla superficie Anthropic di prima classe di OrcaRouter, l’intero set emesso da Anthropic arriva direttamente:data: {...}.
Errori durante uno stream
Gli errori emessi a metà stream non possono usare i codici di stato HTTP (lo stato è stato inviato all’apertura dello stream). Vedi Operazioni / Errori per le forme degli errori in-band.Streaming e fallback
Una volta che un qualsiasi byte della risposta è stato inviato al client, OrcaRouter non può più ripiegare sulla voce successiva della catena — vedi l’avvertenza sullo streaming in Model Fallbacks.Prossimi passi
Chiamata di strumenti
Effettua streaming dei delta delle chiamate di strumenti man mano che arrivano.
Errori
Gestisci i fallimenti a metà stream.
