메인 콘텐츠로 건너뛰기
orcarouter/auto는 가입 시 모든 계정에 대해 만들어지는 이름 지정 라우터입니다. 각 요청을 계정이 접근 가능한 가장 저렴한 라이브 채팅 모델로 라우팅하며, 요청마다 새롭게 선택합니다.

사용법

response = client.chat.completions.create(
    model="orcarouter/auto",
    messages=[{"role": "user", "content": "..."}],
)
다른 설정이 필요하지 않습니다 — 계정이 만들어진 순간 라우터가 존재합니다.

기본 동작

시드 구성:
  • 패턴: 비어 있음 — 계정이 접근 가능한 모든 채팅 모델과 일치. 온라인이 되는 새 모델이 자동으로 후보가 됩니다.
  • 전략: cheapest — 라이브 후보 중 토큰 단가가 가장 낮은 모델 선택.
  • 기본 모델: 없음. 패턴이 사용 가능한 모델 없음으로 해결되면 요청이 명확한 오류로 실패합니다. 안전망이 필요하면 대시보드에서 기본값을 설정할 수 있습니다.
대시보드의 Routing에서 Auto Router를 확인하고 편집할 수 있습니다. 패턴을 좁히거나(예: openai/*로 제한), 전략을 바꾸거나, default_model을 설정하거나, 라우터를 완전히 삭제할 수 있습니다 — 모든 이름 지정 라우터와 동일.

전략 전환

대시보드는 네 가지 전략 카드를 노출합니다. Cheapest는 위의 시드 기본값입니다; 다른 것을 선택하여 orcarouter/auto의 해결 방식을 변경하세요:
카드백엔드 열거동작
Cheapestcheapest라이브 후보 중 토큰 단가가 가장 낮음. 시드 기본값.
Qualityquality가격에 관계없이 라이브 후보 중 품질 점수가 가장 높음.
Balancedbalanced품질 기준선을 충족하는 저비용 옵션 선택; 기준을 충족하는 것이 없으면 최고 품질 옵션으로 폴백. 직접 만드는 새 라우터의 기본값.
Adaptivelinucb / gated_adaptive실제 트래픽에서 학습하는 라우터별 LinUCB 컨텍스트 밴딧. 요청마다 품질, 비용, 지연 시간, 안정성을 가중치로 둠. 두 하위 모드(Standard / Gated) — 이름 지정 라우터 참조.
Adaptive는 선택을 안내하기 시작하기 전에 모델별 짧은 워밍업이 필요합니다. 워밍업 동안 Balanced처럼 동작합니다 — 예상되는 동작 이며 버그가 아닙니다.

명시적 모델 이름보다 Auto Router를 선호해야 할 때

  • 특정 모델에 고정하고 싶지 않음; 각 요청에서 가장 저렴한 라이브 채팅 모델을 원함.
  • 프로토타이핑 중이고 어떤 프로바이더가 가동 중인지 신경 쓰지 않음.
  • OrcaRouter의 라우팅이 “그냥 작동”하기를 원하고 생각하고 싶지 않음.

명시적 모델 이름을 선호해야 할 때

  • 결정론적 출력 필요 — 다른 시간에 다른 모델을 선택하면 생성 스타일과 품질이 변함.
  • 특정 모델 고유 기능 사용(예: Claude의 cache_control, 모델의 네이티브 이미지 생성).
  • 예측 가능한 요청당 비용 원함.

Auto Router가 선택한 것 보기

X-Orca-Resolved-Model 응답 헤더를 확인하세요. 응답 헤더 참조.
res = client.chat.completions.with_raw_response.create(
    model="orcarouter/auto", ...
)
actual_model = res.headers.get("X-Orca-Resolved-Model")
# 예: "openai/gpt-4o-mini"