stream: true 即可以 Server-Sent Events 形式收到增量 token,
而不是等到最终响应。首 token 延迟降到单次网络往返。
OpenAI 兼容(Chat / Responses)
data: {...}。流以 data: [DONE] 结尾。
如果你想拿到流中的最终 usage 对象,传
stream_options: { include_usage: true }——[DONE] 之前的那一块
将包含 token 计数。
Anthropic Messages
Anthropic 使用命名 SSE 事件。在 OrcaRouter 的一等公民 Anthropic 接口上,Anthropic 发出的全套事件会直接透传:data: {...} 的 JSON。
流式过程中的错误
流中产生的错误无法用 HTTP 状态码(状态码在流打开时就已发出)。 参阅运维 / 错误 了解流中错误 的承载形态。流式与回退
一旦响应的任何一个字节已经发给客户端,OrcaRouter 就不能再切到下一个 回退条目了——详见模型回退链中的流式 警示。下一步
工具调用
流式接收工具调用的增量片段。
错误
处理流式过程中的失败。
