跳轉到主要內容
orcarouter/auto 是我們為每個新賬戶自動創建的命名路由器。 它在每次請求時把請求路由到你賬戶能訪問的最便宜的在線 chat 模型, 按請求實時挑選。

用法

response = client.chat.completions.create(
    model="orcarouter/auto",
    messages=[{"role": "user", "content": "..."}],
)
無需其他設置——賬戶創建那一刻,這個路由器就存在了。

默認行為

預置配置:
  • Pattern:空——匹配你賬戶能訪問的所有 chat 模型。新上線的 模型會自動成為候選。
  • Strategycheapest —— 在在線候選中挑每 token 單價最低的模型。
  • 默認模型:無。若 pattern 解析為沒有任何可用模型,請求會以 清晰的錯誤失敗。你可以在控制臺為它設置一個默認模型作為兜底。
你可以在控制臺的 Routing 里查看并編輯 Auto Router。可以收緊 pattern(例如限定 openai/*)、更換策略、設置 default_model、 或者直接刪除——和任何命名路由器一樣。

切換策略

控制臺暴露四張策略卡。Cheapest 是上文的預置默認;挑別的即可改變 orcarouter/auto 的解析行為:
策略卡后端枚舉含義
Cheapestcheapest在在線候選中挑每 token 單價最低的模型。預置默認。
Qualityquality在在線候選中挑質量分最高的模型,不計價格。
Balancedbalanced挑選滿足質量門檻的低成本選項;若無人達到門檻,則回退到質量最高的選項。你自己新建路由器時的默認值。
Adaptivelinucb / gated_adaptive按路由器維度的 LinUCB 上下文 bandit,從你真實流量學習,在每次請求上權衡質量、成本、延遲和可靠性。兩個子模式(Standard / Gated)—— 見命名路由器
Adaptive 需要一段短暫的逐模型預熱,再開始引導挑選。預熱期間行為 類似 Balanced——這是預期,不是 bug。

什么時候用 Auto Router 而不是顯式模型名

  • 你不想釘死在某個特定模型上;你想每次請求都用最便宜的在線 chat 模型。
  • 你在做原型驗證,不想關心哪家服務商是在線的。
  • 你想讓 OrcaRouter 的路由”開箱即用”,無需思考。

什么時候用顯式模型名

  • 你需要確定性輸出——在不同時間挑不同模型會改變生成風格與質量。
  • 你在使用某個模型獨有的特性(如 Claude 的 cache_control,或某個 模型原生的圖像生成)。
  • 你需要可預測的逐請求成本。

查看 Auto Router 挑了什么

查看 X-Orca-Resolved-Model 響應頭。詳見響應頭
res = client.chat.completions.with_raw_response.create(
    model="orcarouter/auto", ...
)
actual_model = res.headers.get("X-Orca-Resolved-Model")
# 例如 "openai/gpt-4o-mini"