stream: true pour recevoir des tokens incrémentaux comme
Server-Sent Events au lieu d’une réponse finale unique. La latence
jusqu’au premier token tombe à un seul aller-retour réseau.
Compatible OpenAI (Chat / Responses)
data: {...}. Le flux se termine par data: [DONE].
Pour obtenir l’objet usage final dans le flux, passez
stream_options: { include_usage: true } — le morceau juste avant
[DONE] inclura les compteurs de tokens.
Anthropic Messages
Anthropic utilise des événements SSE nommés. Sur la surface Anthropic de première classe d’OrcaRouter, l’ensemble complet émis par Anthropic passe directement :data: {...}.
Erreurs pendant un flux
Les erreurs émises en milieu de flux ne peuvent pas utiliser les codes de statut HTTP (le statut a été envoyé à l’ouverture du flux). Voir Opérations / Erreurs pour les formes d’erreur en bande.Streaming et repli
Une fois qu’un seul octet de la réponse a été envoyé au client, OrcaRouter ne peut plus se rabattre sur l’entrée suivante de la chaîne — voir l’avertissement streaming dans Repli de modèles.Étapes suivantes
Appel d'outils
Streamez les deltas d’appel d’outils à mesure qu’ils arrivent.
Erreurs
Gérez les échecs en milieu de flux.
