orcarouter/auto는 가입 시 모든 계정에 대해 만들어지는
이름 지정 라우터입니다. 각 요청을
계정이 접근 가능한 가장 저렴한 라이브 채팅 모델로 라우팅하며,
요청마다 새롭게 선택합니다.
사용법
기본 동작
시드 구성:- 패턴: 비어 있음 — 계정이 접근 가능한 모든 채팅 모델과 일치. 온라인이 되는 새 모델이 자동으로 후보가 됩니다.
- 전략:
cheapest— 라이브 후보 중 토큰 단가가 가장 낮은 모델 선택. - 기본 모델: 없음. 패턴이 사용 가능한 모델 없음으로 해결되면 요청이 명확한 오류로 실패합니다. 안전망이 필요하면 대시보드에서 기본값을 설정할 수 있습니다.
openai/*로 제한), 전략을 바꾸거나,
default_model을 설정하거나, 라우터를 완전히 삭제할 수 있습니다
— 모든 이름 지정 라우터와 동일.
전략 전환
대시보드는 네 가지 전략 카드를 노출합니다. Cheapest는 위의 시드 기본값입니다; 다른 것을 선택하여orcarouter/auto의 해결 방식을
변경하세요:
| 카드 | 백엔드 열거 | 동작 |
|---|---|---|
| Cheapest | cheapest | 라이브 후보 중 토큰 단가가 가장 낮음. 시드 기본값. |
| Quality | quality | 가격에 관계없이 라이브 후보 중 품질 점수가 가장 높음. |
| Balanced | balanced | 품질 기준선을 충족하는 저비용 옵션 선택; 기준을 충족하는 것이 없으면 최고 품질 옵션으로 폴백. 직접 만드는 새 라우터의 기본값. |
| Adaptive | linucb / gated_adaptive | 실제 트래픽에서 학습하는 라우터별 LinUCB 컨텍스트 밴딧. 요청마다 품질, 비용, 지연 시간, 안정성을 가중치로 둠. 두 하위 모드(Standard / Gated) — 이름 지정 라우터 참조. |
명시적 모델 이름보다 Auto Router를 선호해야 할 때
- 특정 모델에 고정하고 싶지 않음; 각 요청에서 가장 저렴한 라이브 채팅 모델을 원함.
- 프로토타이핑 중이고 어떤 프로바이더가 가동 중인지 신경 쓰지 않음.
- OrcaRouter의 라우팅이 “그냥 작동”하기를 원하고 생각하고 싶지 않음.
명시적 모델 이름을 선호해야 할 때
- 결정론적 출력 필요 — 다른 시간에 다른 모델을 선택하면 생성 스타일과 품질이 변함.
- 특정 모델 고유 기능 사용(예: Claude의
cache_control, 모델의 네이티브 이미지 생성). - 예측 가능한 요청당 비용 원함.
Auto Router가 선택한 것 보기
X-Orca-Resolved-Model 응답 헤더를 확인하세요.
응답 헤더 참조.
