1. LLM 탈옥 방어에 게이트웨이 검사가 중요한 이유
모델 자체의 안전 훈련이 첫 번째 라인이지, 유일한 라인이 아닙니다. 모델은 새로운 공격 코퍼스로 재훈련되지만, 탈옥 문구는 훈련 사이클보다 빠르게 진화합니다. 게이트웨이 규칙은 결정적으로 발동합니다 — 모델의 내부 상태에 의존하지 않습니다 — 그리고 내장된 guardrail이 약할 수 있는 파인 튠과 오픈 웨이트를 포함하여 키 뒤의 모든 모델에 동등하게 적용됩니다. 게이트웨이 검사는 또한 감사 추적을 제공합니다. 발동하는 모든 규칙이 워크스페이스 Matches 피드에 기록됩니다 — 규칙 타입, 액션, 상세, 단계 — 모델이 궁극적으로 반환한 것과 무관하게.2. 탈옥 검사를 위한 두 가지 규칙 타입
OrcaRouter의 guardrail 엔진은 두 가지 보완적인 접근법을 제공합니다. 심층 방어를 위해 함께 사용하세요.의미론적 검사 — llm_judge
llm_judge 규칙은 워크스페이스의 모델에 대해 의미론적 검사를 실행합니다.
탈옥 시도가 무엇인지 설명하는 루브릭을 작성합니다; 엔진이 모델이 파싱 가능한
판정을 반환하도록 JSON 스키마 부록을 추가합니다.
judge_fail_open: true (기본값)는 심판 타임아웃이나 오류가 텔레메트리로
기록되고 요청이 계속됨을 의미합니다 — 안전성이 저하되고, 가용성이 보존됩니다.
놓친 검사가 사용 사례에서 용납되지 않는다면 페일 클로즈로 false로 설정하세요.
심판 호출은 워크스페이스 채널을 통해 라우팅되고; 토큰은 심판 서브 라인으로
청구되고 귀속됩니다.
리터럴 거부 목록 — keyword와 regex
알려진 탈옥 문구와 구조적 패턴에 대해, keyword와 regex 규칙은 결정적이며
제로 지연 시간을 추가합니다 — 네트워크 호출 없이 핫 경로에서 실행됩니다.
keyword는 대소문자 구분 없는 부분 문자열 매치입니다. do anything now 같은
용어는 Do Anything Now와 you can do anything now도 매칭합니다.
regex는 RE2 패턴을 허용합니다 (선형 시간, 역참조 없음). 리터럴 목록이 커버할
수 없는 인코딩 트릭 패턴이나 구조적 변형에 사용하세요.
3. 출력 단계 검사
입력 검사가 시도를 잡습니다. 출력 단계 검사가 성공한 우회를 잡습니다 — 이유와 상관없이 생성되지 말았어야 할 응답.stage: "output"에서 두 번째 llm_judge 또는 keyword 규칙을 추가하여
클라이언트에 도달하기 전에 허용되지 않는 콘텐츠를 담은 응답을 플래그하거나
차단합니다.
스트리밍 vs. 비스트리밍
액션이 여기서 중요합니다:| 액션 | 비스트리밍 | 스트리밍 |
|---|---|---|
block | 응답이 보류됩니다; HTTP 400 guardrail_blocked | 스캐너가 도중에 스트림을 끊고 대체 메시지를 발행합니다 — 차단된 콘텐츠가 클라이언트에 도달하지 않습니다 |
mask | 매치가 반환된 텍스트에서 삭제됩니다 | 현재 비스트리밍 응답에만 적용됩니다; 인밴드 스트림 재작성은 로드맵에 있습니다 |
block이 올바르게 작동합니다.
차단된 요청은 쿼터를 소모하지 않습니다. 출력 단계 차단은 응답이 거부된
후 사전 소모된 쿼터를 환불합니다. 호출자는 발동된 guardrail과 규칙을 명시하는
HTTP 400
guardrail_blocked를 받습니다.4. Jailbreak safety 프리셋
콘솔은 Prompt-Injection Basics 옆의 Safety 템플릿 카테고리에 Jailbreak 프리셋을 제공합니다. 즉시 사용 가능한 시작점으로 입력llm_judge 규칙과
알려진 탈옥 문구의 keyword 거부 목록을 결합합니다.
적용하려면: /console/guardrails 열기 → New guardrail → 템플릿 라이브러리
탐색 → Safety → Jailbreak. 프리셋은 씨앗입니다 — 루브릭을 편집하고, 키워드
목록을 확장하고, 애플리케이션 요구에 맞게 출력 단계 규칙을 추가하세요.
5. 출시 전 정책 테스트
탈옥 guardrail을 프로덕션 키에 연결하기 전에, guardrail 에디터의 Eval 탭에서 eval / red-team 하니스로 검증하세요.- 번들 적대적 코퍼스 — 게이트웨이는 탈옥 변형, 다국어 우회, 인코딩 트릭을 포함하는 레드팀 세트를 제공합니다. 정책을 실제 트래픽에서 보기 전에 적중률을 측정하기 위해 실행하세요.
- 커스텀 코퍼스 — 도메인이나 위협 모델에 특정한 문구를 테스트하기 위해 자체 JSONL을 업로드하세요.
- 거짓 양성 코퍼스 — 적대적 세트와 함께 양성 세트가 제공됩니다. 합법적인 트래픽을 차단하지 않음을 확인하기 위해 둘 다 실행하세요.
- Eval 실행은 점수와 함께 나열됩니다; 실행을 열어 샘플별로 실패를 검사하고 루브릭을 조정합니다.
6. 권장 정책 형태
강력한 탈옥 정책은 단일 guardrail에 세 가지 규칙을 레이어합니다:| # | 규칙 | 단계 | 액션 | 이유 |
|---|---|---|---|---|
| 1 | keyword — 알려진 탈옥 문구 | input | block | 제로 지연 시간; 알려진 문구를 결정적으로 잡습니다 |
| 2 | llm_judge — 탈옥 의도 루브릭 | input | block | 키워드 목록이 놓치는 새로운 변형과 인코딩 트릭을 잡습니다 |
| 3 | llm_judge — 허용되지 않는 응답 루브릭 | output | block | 심층 방어: 클라이언트에 도달하기 전에 성공한 우회를 차단합니다 |
block으로
프로모트하세요. flag 액션과 shadow mode를 사용하는 observe → shadow →
enforce 롤아웃 패턴은
강제 모드를 참조하세요.
7. 프롬프트 인젝션과의 관계
탈옥과 프롬프트 인젝션은 별개이지만 겹치는 위협입니다:- 탈옥은 모델의 안전 훈련을 대상으로 합니다 — 공격자가 직접 사용자 메시지를 제어하고 guardrails를 억제하도록 만들어집니다.
- 프롬프트 인젝션은 지시사항 따르기를 대상으로 합니다 — 신뢰할 수 없는 콘텐츠 (웹 페이지, 툴 결과, 문서)가 모델이 지시사항으로 취급하는 지시사항을 담습니다.
llm_judge와 keyword 규칙이 둘 다 잡습니다; 루브릭이 다릅니다.
신뢰할 수 없는 문서나 웹 콘텐츠를 수집하는 에이전트 워크로드에 대해, 인젝션
검사를 탈옥 검사와 함께 실행하세요. 인젝션 특정 규칙 패턴은
프롬프트 인젝션을 참조하세요.
Guardrails 레퍼런스
규칙 타입, 액션, 단계, LLM 심판, eval 하니스, Matches 피드에 대한 전체
레퍼런스.
프롬프트 인젝션
에이전트 파이프라인에서 신뢰할 수 없는 콘텐츠의 주입된 지시사항 검사.
