Карта угроз AI: 60 сценариев, восемь доменов и что защищать в первую очередь

Откуда данные и как читать карту

Основа — открытая база угроз AI Security редакции AI-first.tech: 60 проверенных карточек, в каждой — описание риска без эксплуатационных деталей, признаки для службы мониторинга, бизнес-последствия, меры защиты, классы решений и связи с OWASP Top 10 для LLM-приложений, MITRE ATLAS / ATT&CK и документами NIST. Мы свели карточки в одну картину и посчитали распределения: по доменам, уровню критичности, стандартам, типам мер и классам решений.

Важная оговорка: размер домена — это число сценариев в базе, а не вероятность инцидента или «вес» риска. Карта показывает ширину поверхности атаки, а приоритеты для конкретной компании зависят от её сценариев использования AI.

Схема: где в AI-слое живут угрозы

Схема показывает путь, по которому недоверенный контекст доходит до действия: от людей и внешних каналов — через запросы и инструкции — к модели, затем к агентам и корпоративным системам. Снизу — то, что питает модель и где она исполняется: данные и RAG, цепочка поставки моделей, разработка и инфраструктура. Всё это охватывает контур управления, а атаки с помощью AI бьют по людям снаружи. Нажмите на зону — появятся её сценарии и классы решений из портфеля ITOREX.

Где сосредоточены угрозы

Два крупнейших домена — безопасность языковых моделей (прямое и косвенное внедрение инструкций, обход ограничений, утечка системных инструкций) и модели и цепочка поставки (отравление данных и моделей, подмена артефактов, кража весов). Вместе это 22 сценария из 60: значительная часть рисков возникает не в момент ответа модели, а раньше — на этапе её получения, дообучения и хранения.

Третье место — у управления AI: десять сценариев от теневого использования публичных сервисов до избыточного доверия самоконтролю модели. Это сигнал для руководителей: заметная часть карты закрывается не продуктом, а реестром, владельцами и правилами.

Агентов в базе всего шесть сценариев, но у них самая высокая доля критических. Агент превращает ошибку модели в совершённое действие — письмо, изменение записи, вызов API, — поэтому цена ошибки у него выше, чем у ассистента, который только отвечает.

Девять критических сценариев

Критический уровень получили девять сценариев — там, где ошибка ведёт к прямой утечке данных, необратимому действию или компрометации самой модели. Их удобно смотреть на диаграмме выше: переключите «Только критические» и выберите домен.

Связь с OWASP Top 10 для LLM-приложений

Чаще всего сценарии связаны с цепочкой поставки (LLM03) — 15 карточек — и недостоверной информацией (LLM09) — 14: это и галлюцинации в рекомендациях по безопасности, и избыточное доверие ответам модели при принятии решений. Внедрение инструкций (LLM01) и отравление данных и моделей (LLM04) — по 11.

Категория LLM07 (утечка системных инструкций) отдельно не используется: соответствующий сценарий в базе отнесён к внедрению инструкций. Вывод практический — OWASP задаёт язык, но не заменяет модель угроз: одна категория может скрывать несколько разных сценариев с разными мерами защиты.

Чем защищаться: структура мер

Технические меры преобладают — фильтрация входа и выхода, минимальные привилегии, поиск с учётом прав, контроль целостности артефактов. Но 44% мер — организационные и мониторинг: согласование значимых действий, пересмотр прав, реестр моделей и поставщиков, журналы запросов и ответов, отслеживание действий вне задачи. Именно эти меры делают защиту проверяемой — без них технический контроль нельзя доказать ни аудитору, ни руководству.

Какие классы решений закрывают больше всего

Лидируют решения, которые стоят на пути запросов к модели: шлюз AI (21 сценарий из 60) и межсетевой экран для LLM (15). Одна точка контроля позволяет фильтровать запросы и ответы, применять политики к инструментам, ограничивать потребление и вести журнал — поэтому она закрывает сценарии сразу из нескольких доменов.

Следом — защита RAG и управление AI (по 10), защита агентов (8), наблюдаемость LLM, безопасная разработка и защита цепочки поставок (по 7). Это хорошая последовательность для дорожной карты: сначала точка контроля и реестр, затем защита знаний и агентов, затем поставка моделей и разработка.

Стандарты: AI-специфика и привычная ИБ

47 сценариев описываются в терминах MITRE ATLAS — специализированной базы атак на системы AI, а 13 — классическими техниками ATT&CK: фишинг с дипфейками, вредоносное ПО с помощью AI, эксплуатация через небезопасный вывод модели. В NIST картина похожая: 36 сценариев относятся к таксономии атак на машинное обучение (AI 100-2), 20 — к управлению рисками (AI RMF), 4 — к безопасной разработке (SSDF).

Вывод: AI Security не отменяет привычные дисциплины — учётные записи, защиту данных, контроль API, безопасную разработку, — а добавляет к ним новые точки принятия решений и источники контекста.

С чего начать: пять шагов

1. Реестр. Соберите все сценарии AI — включая встроенные функции и теневые сервисы, — с владельцем, классом данных и разрешёнными действиями.
2. Точка контроля. Пустите запросы к моделям через шлюз AI или LLM Firewall: фильтрация входа и выхода, политики, квоты, журнал.
3. Границы данных. Поиск и RAG — только с учётом прав доступа; секреты — не в инструкциях и контексте; журналы запросов — как чувствительные данные.
4. Границы действий. Агентам — минимальные права и перечень инструментов, необратимые действия — только с подтверждением человека.
5. Поставка и проверка. Доверенный реестр моделей, контроль целостности, анализ зависимостей и тестирование на внедрение инструкций до выпуска.

Решения из портфеля ITOREX

Для каждой зоны схемы выше указаны классы решений портфеля ITOREX, которые закрывают её сценарии: от LLM Firewall и шлюзов AI для запросов к модели до DevSecOps и ASOC для цепочки поставки и разработки. Применимость конкретного продукта к вашему сценарию проверяется на пилоте: команда ITOREX поможет выбрать точку контроля, собрать стенд и подготовить критерии успеха.

TRON ASOC

Разработка и контейнеры

ASOC - обнаружение, анализ и устранение уязвимостей на всех этапах разработки и эксплуатации ПО. Интеграция с инструментами DevOps. Эффективность AppSec с помощью автоматизации и AI-анализа.

• ASOC
• ASPM
• TRON ASOC

InfEra Security

AI Security / DevSecOps

Российский разработчик решений кибербезопасности на основе AI и для защиты LLM-моделей.

• LLM Firewall
• SAST
• CTEM
• Реестр ПО

Aitalon

AI-инфраструктура и безопасность / Разработка и контейнеры

Aitalon объединяет контроль AI-агентов и LLM через AIGATE, аналитику AI-разработки DevScore и создание презентаций по данным через AIPitch.

• Контроль агентов и LLM
• Анализ разработки и качества кода
• AIGATE
• DevScore

CodeScoring

Разработка и контейнеры

Российская платформа безопасной разработки ПО для SCA, анализа open source, лицензий, секретов, качества кода и supply chain security.

• Анализ разработки и качества кода
• OSA
• SCA
• SAST
• TQI

STRAZH

Vulnerability & Risk Management

Обеспечьте прозрачность использования AI в компании. Платформа STRAZH дает 100% видимость AI-трафика, защищает корпоративные данные от утечек и позволяет безопасно внедрять LLM-приложения и кодинг-ассистенты. Shadow AI Audit & Control • LLM Firewall • AI Agent Security

• LLM Firewall
• Agentic Security
• AI Security
• AI Gateway