Przejdź do głównej treści
orcarouter/auto to nazwany router, który tworzymy dla każdego konta przy rejestracji. Routuje każde żądanie do najtańszego dostępnego modelu chat, do którego Twoje konto ma dostęp, wybranego świeżo per żądanie.

Użycie

response = client.chat.completions.create(
    model="orcarouter/auto",
    messages=[{"role": "user", "content": "..."}],
)
Żadna inna konfiguracja nie jest wymagana — router istnieje od momentu utworzenia konta.

Domyślne zachowanie

Konfiguracja zasiana:
  • Wzorzec: pusty — pasuje do każdego modelu chat, do którego Twoje konto ma dostęp. Nowe modele, które wchodzą online, automatycznie stają się kandydatami.
  • Strategia: cheapest — wybiera model z najniższą ceną per token spośród dostępnych kandydatów.
  • Default model: brak. Jeśli wzorzec nie rozwiąże żadnego dostępnego modelu, żądanie zawodzi z jasnym błędem. Możesz ustawić default w panelu, jeśli chcesz siatkę bezpieczeństwa.
Możesz zobaczyć i edytować swojego Auto Routera w panelu pod Routing. Możesz zawęzić wzorzec (np. ograniczyć do openai/*), zmienić strategię, ustawić default_model lub usunąć router w całości — tak samo jak każdy nazwany router.

Zmiana strategii

Panel udostępnia cztery karty strategii. Cheapest to powyższa zasiana domyślna; wybierz inną, aby zmienić, jak orcarouter/auto rozwiązuje wybory:
KartaEnum backenduCo robi
CheapestcheapestNajniższa cena per token spośród dostępnych kandydatów. Zasiana domyślna.
QualityqualityNajwyższy wskaźnik jakości spośród dostępnych kandydatów, niezależnie od ceny.
BalancedbalancedWybiera tanią opcję, która nadal spełnia próg jakości; przechodzi do opcji o najwyższej jakości, jeśli nic nie spełnia progu. Domyślna dla nowych routerów tworzonych samodzielnie.
Adaptivelinucb / gated_adaptiveKontekstowy bandyta LinUCB per-router, uczący się z Twojego prawdziwego ruchu, waży jakość, koszt, latencję i niezawodność per żądanie. Dwa sub-tryby (Standard / Gated) — zobacz Nazwane routery.
Adaptive potrzebuje krótkiej rozgrzewki per-model, zanim zacznie sterować wyborami. W trakcie rozgrzewki zachowuje się jak Balanced — to oczekiwane, nie bug.

Kiedy preferować Auto Router nad jawne nazwy modeli

  • Nie chcesz przypinać się do konkretnego modelu; chcesz najtańszy dostępny model chat przy każdym żądaniu.
  • Prototypujesz i nie chcesz przejmować się, który dostawca jest “up”.
  • Chcesz, aby routing OrcaRouter “po prostu działał” bez myślenia.

Kiedy preferować jawne nazwy modeli

  • Potrzebujesz deterministycznego wyjścia — wybieranie różnych modeli w różnym czasie zmieni styl i jakość generacji.
  • Używasz funkcji specyficznych dla jednego modelu (np. Claude’owy cache_control lub natywne generowanie obrazów modelu).
  • Chcesz przewidywalnego kosztu per żądanie.

Sprawdzanie, co wybrał Auto Router

Sprawdź nagłówek odpowiedzi X-Orca-Resolved-Model. Zobacz Nagłówki odpowiedzi.
res = client.chat.completions.with_raw_response.create(
    model="orcarouter/auto", ...
)
actual_model = res.headers.get("X-Orca-Resolved-Model")
# np. "openai/gpt-4o-mini"