orcarouter/auto est un routeur nommé
que nous créons pour chaque compte à l’inscription. Il route chaque
requête vers le modèle chat vivant le moins cher auquel votre compte
a accès, choisi à chaque requête.
Utilisation
Comportement par défaut
La configuration ensemencée :- Motif : vide — correspond à tous les modèles chat auxquels votre compte a accès. Les nouveaux modèles qui sont mis en ligne deviennent candidats automatiquement.
- Stratégie :
cheapest— choisit le modèle avec le prix par token le plus bas parmi les candidats en direct. - Modèle par défaut : aucun. Si le motif se résout en aucun modèle disponible, la requête échoue avec une erreur claire. Vous pouvez définir un par défaut dans le tableau de bord si vous voulez un filet de sécurité.
openai/*), changer la stratégie, définir un
default_model, ou supprimer le routeur entièrement — comme tout
routeur nommé.
Changer de stratégies
Le tableau de bord expose quatre cartes de stratégie. Cheapest est le défaut ensemencé ci-dessus ; choisissez un autre pour changer commentorcarouter/auto résout les choix :
| Carte | Énumération backend | Ce qu’elle fait |
|---|---|---|
| Cheapest | cheapest | Prix par token le plus bas parmi les candidats en direct. Le défaut ensemencé. |
| Quality | quality | Score de qualité le plus élevé parmi les candidats en direct, quel que soit le prix. |
| Balanced | balanced | Choisit une option à faible coût qui répond à un seuil de qualité ; se rabat sur l’option de plus haute qualité si rien ne répond. Par défaut pour les nouveaux routeurs que vous créez vous-même. |
| Adaptive | linucb / gated_adaptive | Bandit contextuel LinUCB par routeur qui apprend de votre trafic réel pour pondérer qualité, coût, latence et fiabilité par requête. Deux sous-modes (Standard / Gated) — voir Routeurs nommés. |
Quand préférer le Routeur Auto aux noms de modèles explicites
- Vous ne voulez pas vous fixer sur un modèle spécifique ; vous voulez le modèle chat vivant le moins cher à chaque requête.
- Vous prototypez et ne voulez pas vous soucier de quel fournisseur est en ligne.
- Vous voulez que le routage d’OrcaRouter “fonctionne juste” sans y penser.
Quand préférer les noms de modèles explicites
- Vous avez besoin d’une sortie déterministe — choisir différents modèles à différents moments changera le style et la qualité de génération.
- Vous utilisez des fonctionnalités spécifiques à un modèle (par ex.
cache_controlde Claude, ou la génération d’image native d’un modèle). - Vous voulez un coût par requête prévisible.
Voir ce que le Routeur Auto a choisi
Vérifiez l’en-tête de réponseX-Orca-Resolved-Model. Voir
En-têtes de réponse.
