stream: true para receber tokens incrementais como
Server-Sent Events em vez de uma única resposta final. A latência até
o primeiro token cai para uma única ida e volta de rede.
Compatível com OpenAI (Chat / Responses)
data: {...}. O stream termina com data: [DONE].
Para obter o objeto usage final dentro do stream, passe
stream_options: { include_usage: true } — o chunk imediatamente
antes de [DONE] incluirá as contagens de tokens.
Anthropic Messages
A Anthropic usa eventos SSE nomeados. Na superfície Anthropic de primeira classe do OrcaRouter, o conjunto completo que a Anthropic emite passa diretamente:data: {...}.
Erros durante um stream
Erros emitidos no meio do stream não podem usar códigos de status HTTP (o status foi enviado quando o stream foi aberto). Veja Operações / Erros para os formatos de erro in-band.Streaming e fallback
Uma vez que qualquer byte da resposta tenha sido enviado ao cliente, o OrcaRouter não pode mais cair para a próxima entrada da cadeia — veja a ressalva sobre streaming em Fallbacks de modelo.Próximos passos
Chamada de ferramentas
Faça streaming dos deltas de tool-call à medida que chegam.
Erros
Trate falhas no meio do stream.
