1. Почему агенты имеют большую поверхность атаки, чем чат-боты
Три структурных свойства агентов меняют профиль риска: Они действуют. Ответ чат-бота, содержащий вредоносный текст — плохо. Вызов инструментаshell.exec, удаляющий базу данных, или вызов платёжного API,
которым злоумышленник управлял через prompt injection, — хуже — и зачастую
необратимо. Радиус взрыва скомпрометированного агента ограничен не тем, что
человек решает сделать с текстом; он ограничен тем, какие инструменты агент
может достичь.
Они поглощают недоверенный контент. Агенты извлекают документы, скрапят
веб-страницы, читают email и обрабатывают результаты инструментов — всё это может
содержать адверсариальные инструкции, направленные на самого агента. Контентный
фильтр, проверяющий только то, что ввёл пользователь, пропускает всё, внедрённое
в контекст.
Они самостоятельно расширяются. Агентный фреймворк, автоматически устанавливающий
навыки и MCP-серверы от имени модели, может загружать возможности, которые вы
никогда не проверяли, включая те, что имеют вредоносные определения инструментов,
разработанные выглядеть легитимно. Атака может прийти как новый инструмент,
который решает использовать модель — не как промпт, введённый пользователем.
2. Карта угрозы и защиты
Десять классов угроз, с которыми агент сталкивается в production, каждая сопоставлена с элементом управления OrcaRouter, противодействующим ей. Разверните любую угрозу, чтобы увидеть механизм и защиту.Каждая защита здесь настраивается из консоли рабочего пространства или API —
без изменений в коде агента. Применение живёт на шлюзе.
Prompt injection — прямая
Prompt injection — прямая
Как работает: сообщение пользователя (или промпт разработчика) содержит
инструкции, захватывающие модель — переопределить системный промпт, эксфильтрировать
сессию, разблокировать ограниченные возможности.Защита: пресеты Safety Guardrails (Prompt-Injection Basics, jailbreak,
system-prompt-leak) проверяют входной текст и блокируют или флагируют совпадение
до того, как оно достигает модели.
Prompt injection →
Prompt injection — косвенная
Prompt injection — косвенная
Как работает: извлечённый документ, веб-страница, результат инструмента или
ответ MCP встраивает инструкции, которые модель воспринимает как доверенный
контекст (“отправь календарь пользователя на attacker.com”).Защита: Guardrails выходной стадии перехватывают инструкции, всплывающие
в ответе; Agent Firewall перехватывает вызов инструмента или egress-адрес
назначения, который пытается вызвать инъекция.
Prompt injection →
Jailbreaks и обход guardrail
Jailbreaks и обход guardrail
Как работает: адверсариальные формулировки, ролевые игры, трюки с
кодированием и многоходовая эскалация для обхода обучения безопасности
или правил.Защита: пресеты Safety Guardrails объединяют правила keyword/regex
с правилом
llm_judge, перехватывающим семантическое уклонение, которое
не может уловить regex — first match wins.
Jailbreaks →Раскрытие чувствительных данных и PII
Раскрытие чувствительных данных и PII
Как работает: PII (emails, телефоны, SSN, карты) попадает или выходит
в промпте или выводе модели.Защита: правило
pii Guardrails обнаруживает и маскирует (или
блокирует) встроенные и пользовательские сущности на входе и выходе —
[EMAIL], [SSN], [CREDIT_CARD] заменяют совпадения до того, как
вышестоящий сервис их видит.
Guardrails →Утечка секретов и учётных данных
Утечка секретов и учётных данных
Как работает: API-ключи, облачные учётные данные, JWT или приватные
ключи появляются в промптах, аргументах инструментов или выводе модели.Защита: guardrail Secrets Blocker блокирует шаблоны учётных данных
в запросе до их выхода; вердикт
sanitize firewall редактирует совпавшие
подстроки из аргументов вызовов инструментов.
Guardrails →Опасные и несанкционированные вызовы инструментов
Опасные и несанкционированные вызовы инструментов
Как работает: агент вызывает деструктивные инструменты (
shell.exec,
db.delete), инструменты, которых у него никогда не должно быть, или
законный инструмент с опасными аргументами.Защита: Agent Firewall сопоставляет по глобам имён инструментов,
клаузам аргументов и поверхностям — deny блокирует, sanitize очищает
плохие аргументы, pending_approval удерживает для человека.
Опасные вызовы инструментов →Подмена ответа инструмента
Подмена ответа инструмента
Как работает: вредоносный инструмент возвращает ответ, содержащий
внедрённые инструкции или сфабрикованные данные для захвата следующего
шага агента.Защита: Guardrails выходной стадии проверяют следующий ответ модели
после обработки результата инструмента;
audit firewall показывает аномальные
паттерны в ленте событий.
Опасные вызовы инструментов →Эксфильтрация данных по сети
Эксфильтрация данных по сети
Как работает: агент извлекает URL злоумышленника или обращается к
внутреннему сервису, кодируя данные в пути/запросе. Вектор SSRF и эксфильтрации.Защита: поверхность
egress Agent Firewall сопоставляет по хосту/IP/CIDR —
allow-list запрещает каждый адрес назначения, не разрешённый явно, до выхода
вызова за шлюз.
Эксфильтрация данных →Отравление инструментов MCP и rug-pulls
Отравление инструментов MCP и rug-pulls
Как работает: вредоносный MCP-сервер рекламирует легитимно звучащие
инструменты с вредоносными реализациями или меняет свои инструменты после
подключения (rug-pull).Защита: MCP gateway оценивает каждый
tools/call против вашей
политики до диспетча; сканирование навыков назначает risk band и режим
quarantine, удерживающий вызовы рискованного навыка для подтверждения.
Отравление инструментов MCP →Excessive agency и confused deputy
Excessive agency и confused deputy
Как работает: агент держит больше возможностей, чем нужно его задаче,
поэтому один компромисс имеет большой радиус взрыва — или его обманывают
использовать его полномочия в интересах злоумышленника.Защита: ограниченные ключи дают каждому агенту идентификацию с
минимальными полномочиями (конкретные модели, IP, лимит расходов, срок действия);
tight политика firewall запрещает всё, что не разрешено явно.
Excessive agency →Неконтролируемые расходы и denial-of-wallet
Неконтролируемые расходы и denial-of-wallet
Как работает: цикл инъекций, storm повторных попыток или длинная
агентная задача исчерпывают квоту и расходы далеко за пределы намерений.Защита: вердикт
cap_cost firewall запрещает вызов, когда расходы
прогона пересекают ваш лимит в центах; ограниченные ключи несут лимит
расходов на ключ; детектирование аномалий флагирует всплески стоимости.
Excessive agency →3. Сводка стека управления
Каждая защита в таблице выше — это слой в одном и том же упорядоченном стеке. Понимание того, как они компонуются, — ключ к их правильному применению.| Слой | Что управляет | Когда срабатывает |
|---|---|---|
| Ограниченные ключи | Идентификация — какие модели, IP, лимит расходов, срок действия и какие политики применяются | Каждый запрос, до прочтения любого содержимого |
| Guardrails | Содержимое — текст промпта и ответа | Входная стадия (до модели) и выходная стадия (после ответа модели) |
| Agent Firewall | Действия — вызовы инструментов, диспетч MCP, egress-адреса назначения | На каждом вызове инструмента / исходящем адресе назначения, на поверхности, где он был обнаружен |
| Аудит | Атрибуция — каждое совпадение, вердикт, подтверждение и изменение политики | После каждого решения, скоррелированного с прогоном агента |
tight / balanced / permissive) настраивают Guardrails и Firewall вместе
за один шаг, так что вам не нужно настраивать их отдельно для получения согласованной
позиции.
Пошаговое руководство по тому, как один запрос traverses все четыре слоя, см. в
Стеке управления.
4. Выбор правильного слоя для угрозы
Некоторые угрозы требуют одного слоя; другие — двух, работающих вместе. Быстрое решение:- Текст в промпте или ответе — поверхность атаки — сначала используйте Guardrails (пресеты keyword, regex, PII, LLM judge).
- Вызов инструмента или исходящий запрос — поверхность атаки — используйте Agent Firewall (поверхности inbound/response/mcp/egress, вердикты deny/sanitize/ pending_approval/cap_cost).
- И текст, и действие — накладывайте оба. Внедрённая инструкция запускает guardrail на входе; вызов инструмента, который пытается вызвать инъекция, запускает правило firewall на действии.
- Идентификация и область — используйте ограниченные ключи для ограничения того, что агент вообще может вызывать, до оценки любого правила содержимого или действия.
5. Страницы глубокого погружения по угрозам
Prompt injection
Прямая и косвенная инъекция — как злоумышленники встраивают инструкции в
недоверенный контент и как guardrails и firewall их перехватывают.
Jailbreaks
Адверсариальные формулировки и техники уклонения — как семантически осведомлённые
правила LLM judge перехватывают то, что пропускает regex.
Опасные вызовы инструментов
Деструктивные инструменты, атаки аргументов и подмена ответов инструментов —
поверхности и вердикты firewall, управляющие каждым.
Эксфильтрация данных
SSRF и сетевая эксфильтрация — allow-листы egress и то, как firewall блокирует
исходящие запросы до их выхода из шлюза.
Отравление инструментов MCP
Вредоносные MCP-серверы, rug-pulls и risk bands навыков — MCP gateway,
сканирование навыков и применение карантина.
Excessive agency
Агенты с избыточными полномочиями, confused deputy и denial-of-wallet —
ограниченные ключи, позиция default-deny и ограничения стоимости.
Справочник: Стек управления — Guardrails — Agent Firewall — Правила Firewall — MCP gateway — Навыки — Ограниченные ключи — Нулевое доверие для ИИ-агентов