orcarouter/auto to nazwany router,
który tworzymy dla każdego konta przy rejestracji. Routuje każde
żądanie do najtańszego dostępnego modelu chat, do którego Twoje konto
ma dostęp, wybranego świeżo per żądanie.
Użycie
Domyślne zachowanie
Konfiguracja zasiana:- Wzorzec: pusty — pasuje do każdego modelu chat, do którego Twoje konto ma dostęp. Nowe modele, które wchodzą online, automatycznie stają się kandydatami.
- Strategia:
cheapest— wybiera model z najniższą ceną per token spośród dostępnych kandydatów. - Default model: brak. Jeśli wzorzec nie rozwiąże żadnego dostępnego modelu, żądanie zawodzi z jasnym błędem. Możesz ustawić default w panelu, jeśli chcesz siatkę bezpieczeństwa.
openai/*),
zmienić strategię, ustawić default_model lub usunąć router w całości
— tak samo jak każdy nazwany router.
Zmiana strategii
Panel udostępnia cztery karty strategii. Cheapest to powyższa zasiana domyślna; wybierz inną, aby zmienić, jakorcarouter/auto rozwiązuje
wybory:
| Karta | Enum backendu | Co robi |
|---|---|---|
| Cheapest | cheapest | Najniższa cena per token spośród dostępnych kandydatów. Zasiana domyślna. |
| Quality | quality | Najwyższy wskaźnik jakości spośród dostępnych kandydatów, niezależnie od ceny. |
| Balanced | balanced | Wybiera tanią opcję, która nadal spełnia próg jakości; przechodzi do opcji o najwyższej jakości, jeśli nic nie spełnia progu. Domyślna dla nowych routerów tworzonych samodzielnie. |
| Adaptive | linucb / gated_adaptive | Kontekstowy bandyta LinUCB per-router, uczący się z Twojego prawdziwego ruchu, waży jakość, koszt, latencję i niezawodność per żądanie. Dwa sub-tryby (Standard / Gated) — zobacz Nazwane routery. |
Kiedy preferować Auto Router nad jawne nazwy modeli
- Nie chcesz przypinać się do konkretnego modelu; chcesz najtańszy dostępny model chat przy każdym żądaniu.
- Prototypujesz i nie chcesz przejmować się, który dostawca jest “up”.
- Chcesz, aby routing OrcaRouter “po prostu działał” bez myślenia.
Kiedy preferować jawne nazwy modeli
- Potrzebujesz deterministycznego wyjścia — wybieranie różnych modeli w różnym czasie zmieni styl i jakość generacji.
- Używasz funkcji specyficznych dla jednego modelu (np. Claude’owy
cache_controllub natywne generowanie obrazów modelu). - Chcesz przewidywalnego kosztu per żądanie.
Sprawdzanie, co wybrał Auto Router
Sprawdź nagłówek odpowiedziX-Orca-Resolved-Model. Zobacz
Nagłówki odpowiedzi.
