Bộ định tuyến có tên

• Thay đổi hành vi định tuyến mà không cần triển khai lại ứng dụng (thay đổi router trong bảng điều khiển; mã của bạn không đổi).
• Cho các nhóm hoặc dịch vụ khác nhau chọn chính sách định tuyến riêng của họ, độc lập với ứng dụng đang gọi API.
• Tham chiếu logic định tuyến quá phức tạp để nhúng inline trong extra_body.

​

Sử dụng một router

response = client.chat.completions.create(
    model="orcarouter/production-chat",
    messages=[...],
)

​

Tạo một router

• Tên — {name} trong orcarouter/{name}. Phải duy nhất trong workspace của bạn; chữ thường, chữ số, _, và - (1-50 ký tự). Tên orcarouter được dành riêng.
• Mô hình được phép — một hoặc nhiều mẫu glob (ngăn cách bằng dấu phẩy hoặc xuống dòng, không phân biệt chữ hoa thường) giới hạn các mô hình mà router này có thể chọn. Ví dụ: openai/* hoặc openai/*, anthropic/claude-haiku-*. Để trống sẽ khớp mọi mô hình mà tài khoản của bạn có quyền truy cập.
• Chiến lược — cách chọn giữa các mô hình khớp. Xem Chiến lược bên dưới.
• Mundane models / Hard models — danh sách mô hình bổ sung chỉ được dùng bởi chiến lược Adaptive · Gated. Xem Adaptive bên dưới.
• Mô hình mặc định — một mô hình an toàn được dùng nếu mẫu không giải được thành gì.
• Bật — vô hiệu hóa router mà không xóa nó.

​

Chiến lược

​

Cheapest

​

Quality

​

Balanced

​

Adaptive

• Standard (API enum: linucb) — xem xét mọi mô hình thuộc danh sách Được phép cho từng yêu cầu. Tốt nhất khi lưu lượng tương đối đồng đều và bạn muốn router tìm tùy chọn tốt nhất trên toàn danh sách của bạn.
• Gated (API enum: gated_adaptive) — các yêu cầu được phân loại thành mundane hoặc hard; các yêu cầu mundane được chọn từ một pool Mundane models nhỏ hơn, các yêu cầu hard từ pool Hard models mạnh hơn, và các yêu cầu mức trung từ toàn bộ danh sách Được phép. Tốt nhất khi lưu lượng của bạn pha trộn các lệnh gọi đơn giản và phức tạp. Mỗi pool được giao với Allowed models; pool trống hoặc không chồng lấp sẽ âm thầm dự phòng về toàn bộ danh sách Được phép, nên các yêu cầu không bao giờ bị thiếu mô hình. Cấu hình hai pool (weak_pool và strong_pool ở cấp API — tối đa 2000 ký tự mỗi pool) trong trình biên tập khi bạn chọn Gated.

​

Router được seed: orcarouter/auto