Перейти к основному содержанию
orcarouter/auto — это именованный маршрутизатор, который мы создаём для каждого аккаунта при регистрации. Он направляет каждый запрос к самой дешёвой живой чат-модели, к которой у вашего аккаунта есть доступ, выбираемой заново для каждого запроса.

​
Использование

response = client.chat.completions.create(
    model="orcarouter/auto",
    messages=[{"role": "user", "content": "..."}],
)
Никакой дополнительной настройки не требуется — маршрутизатор существует с момента создания вашего аккаунта.

​
Поведение по умолчанию

Начальная конфигурация:
  • Pattern: пусто — соответствует каждой чат-модели, к которой у вашего аккаунта есть доступ. Новые модели, появляющиеся онлайн, автоматически становятся кандидатами.
  • Strategy: cheapest — выбирает модель с наименьшей ценой за токен среди живых кандидатов.
  • Default model: отсутствует. Если шаблон не разрешается ни в одну доступную модель, запрос завершается с понятной ошибкой. Вы можете установить значение по умолчанию в дашборде, если хотите иметь страховку.
Вы можете просмотреть и отредактировать ваш Auto Router в дашборде в разделе Routing. Можно сузить шаблон (например, ограничить до openai/*), изменить стратегию, установить default_model или полностью удалить маршрутизатор — так же, как для любого именованного маршрутизатора.

​
Смена стратегий

Дашборд предоставляет четыре карточки стратегий. Cheapest — начальное значение по умолчанию выше; выберите другую, чтобы изменить, как orcarouter/auto разрешает выбор:
КарточкаBackend enumЧто делает
CheapestcheapestНаименьшая цена за токен среди живых кандидатов. Значение по умолчанию.
QualityqualityНаивысший показатель качества среди живых кандидатов независимо от цены.
BalancedbalancedВыбирает недорогой вариант, всё ещё соответствующий планке качества; возвращается к варианту с наивысшим качеством, если ничего не соответствует планке. По умолчанию для новых маршрутизаторов, которые вы создаёте сами.
Adaptivelinucb / gated_adaptiveКонтекстный бандит LinUCB для маршрутизатора, обучающийся на реальном трафике для взвешивания качества, стоимости, задержки и надёжности на каждый запрос. Два подрежима (Standard / Gated) — см. Именованные маршрутизаторы.
Adaptive требует короткого прогрева по каждой модели, прежде чем начнёт направлять выбор. Во время прогрева он ведёт себя как Balanced — это ожидаемо, а не баг.

​
Когда предпочесть Auto Router явным именам моделей

  • Вы не хотите привязываться к конкретной модели; вам нужна самая дешёвая живая чат-модель на каждый запрос.
  • Вы прототипируете и не хотите задумываться о том, какой провайдер сейчас работает.
  • Вы хотите, чтобы маршрутизация OrcaRouter «просто работала» без размышлений.

​
Когда предпочесть явные имена моделей

  • Вам нужен детерминированный вывод — выбор разных моделей в разные моменты изменит стиль и качество генерации.
  • Вы используете возможности, специфичные для одной модели (например, cache_control от Claude или нативную генерацию изображений модели).
  • Вам нужна предсказуемая стоимость каждого запроса.

​
Как узнать, что выбрал Auto Router

Проверьте заголовок ответа X-Orca-Resolved-Model. См. Заголовки ответа. 
res = client.chat.completions.with_raw_response.create(
    model="orcarouter/auto", ...
)
actual_model = res.headers.get("X-Orca-Resolved-Model")
# e.g. "openai/gpt-4o-mini"