메인 콘텐츠로 건너뛰기
OrcaRouter는 라우팅 전략을 이름 지정 라우터로 저장할 수 있게 합니다. 코드에서 orcarouter/{name}로 호출하면 OrcaRouter가 구성한 규칙에 따라 요청 시간에 구체적인 모델로 해결합니다. 다음과 같은 경우에 유용합니다:
  • 앱을 재배포하지 않고 라우팅 동작을 전환(대시보드에서 라우터를 바꾸기; 코드는 그대로).
  • 다른 팀이나 서비스가 호출 앱과 독립적으로 자체 라우팅 정책을 선택하게 함.
  • extra_body에 인라인하기에는 너무 복잡한 라우팅 로직 참조.

​
라우터 사용

response = client.chat.completions.create(
    model="orcarouter/production-chat",
    messages=[...],
)
라우터가 어떤 구체 모델로 해결했는지 알려면 X-Orca-Router와 X-Orca-Resolved-Model 응답 헤더를 읽으세요 — 응답 헤더 참조. 응답 본문의 model 필드는 업스트림이 반환한 것을 반영합니다(종종 베어 업스트림 이름, 예: gpt-4o-mini-2024-07-18).

​
라우터 만들기

라우터는 대시보드의 Routing에서 만듭니다. 각 라우터는 다음을 가집니다:
  • 이름 — orcarouter/{name}의 {name}. 워크스페이스 내에서 고유; 소문자, 숫자, _, -(1-50자). 이름 orcarouter는 예약됨.
  • 허용 모델 — 이 라우터가 선택할 수 있는 모델을 제한하는 하나 이상의 glob 패턴(쉼표 또는 줄바꿈 구분, 대소문자 무시). 예: openai/* 또는 openai/*, anthropic/claude-haiku-*. 비어 있으면 계정이 접근 가능한 모든 모델과 일치.
  • 전략 — 일치하는 모델 중에서 선택 방법. 아래 전략 참조.
  • Mundane models / Hard models — Adaptive · Gated 전략 에서만 사용되는 추가 모델 목록. 아래 Adaptive 참조.
  • 기본 모델 — 패턴이 아무것도 해결하지 못할 때 사용되는 안전망 모델.
  • 활성화 — 삭제 없이 라우터를 비활성화.

​
전략

편집기는 네 가지 전략 카드를 노출합니다. Adaptive는 두 백엔드 하위 모드를 묶어 API로 영속화할 수 있는 열거 값이 총 다섯 개입니다.

​
Cheapest (가장 저렴)

라이브 후보 중 토큰 단가가 가장 낮은 모델을 선택합니다. 시드된 orcarouter/auto 라우터의 기본값. 매 요청에서 가장 저렴한 라이브 채팅 모델을 원하고 호출 간 출력 스타일 일관성에 관심이 없을 때 최적.

​
Quality (품질)

가격에 관계없이 라이브 후보 중 품질 점수가 가장 높은 모델을 선택합니다. 출력 품질이 비용보다 중요할 때 최적.

​
Balanced (균형)

품질 기준선을 충족하는 저비용 옵션을 선택; 기준을 충족하는 것이 없으면 최고 품질 옵션으로 폴백. 직접 만드는 새 라우터의 기본값. 라우터별 튜닝 없이 작동.

​
Adaptive (적응)

실제 프로덕션 트래픽에서 학습하는 라우터별 LinUCB 컨텍스트 밴딧. 요청마다 품질, 비용, 지연 시간, 안정성을 가중치로 두어 최적 모델을 선택합니다. 새 라우터는 짧은 콜드 스타트 기간(모델별 워밍업) 동안 Balanced처럼 동작하다가 밴딧이 선택을 안내하기 시작합니다 — 이는 예상되는 동작이며 버그가 아닙니다. 두 가지 하위 모드:
  • Standard (API 열거: linucb) — 각 요청에 대해 모든 허용 모델을 고려. 트래픽이 대체로 균일하고 라우터가 전체 목록에서 최적 옵션을 찾기를 원할 때 최적.
  • Gated (API 열거: gated_adaptive) — 요청은 먼저 mundane 또는 hard로 분류; mundane 요청은 더 작은 Mundane models 풀에서, hard 요청은 더 강력한 Hard models 풀에서, 중난이도 요청은 전체 허용 목록에서 추출. 단순 호출과 복잡한 호출이 섞인 트래픽에 최적. 각 풀은 허용 모델과 교차됨; 비어 있거나 겹치지 않는 풀은 조용히 전체 허용 목록으로 폴백하므로 요청이 굶주리지 않음. Gated를 선택할 때 편집기에서 두 풀(API 레벨에서 weak_pool과 strong_pool, 각 최대 2000자)을 구성하세요.

​
시드 라우터: orcarouter/auto

모든 OrcaRouter 계정은 가입 시 auto라는 기본 라우터로 시드됩니다 — 자동 라우터 참조. 구성 없이 즉시 사용할 수 있습니다.