Перейти к основному содержимому
Версия: 6.1

AI Security: Интеграция с Менеджером Инцидентов

Общее описание​

Модуль AI Security автоматически регистрирует инциденты в Менеджере Инцидентов с помощью задач обнаружения угроз по категориям OWASP TOP 10 LLM.

Менеджер Инцидентов

Формирование инцидентов​

Каждый инцидент содержит:

  • заголовок с OWASP-категорией, названием правила и сведениями о пользователе и хосте агента
  • описание сработавшего правила и контекст инцидента
  • теги OWASP-категории и модуля для быстрой фильтрации
  • дополнительные поля с контекстом срабатывания: время события, агент, пользователь, хост, исход и причина либо сервис, запрос, ответ модели, сигнатура и паттерн
  • детали инцидента — готовый план разбора для оператора: памятка для администраторов, сбор базового контекста, определение ключевых полей, оценка легитимности, сбор дополнительного контекста и критерии эскалации на L2

Примеры инцидентов​

Попытка превышения полномочий агентом (LLM05/08)​

Инцидент фиксирует неуспешные действия агента и сообщения об отказе в доступе.

Инцидент LLM05/08

Промпт-инъекция (LLM01)​

Инцидент фиксирует попытку промпт-инъекции во входном запросе пользователя.

Инцидент LLM01

Раскрытие конфиденциальной информации (LLM06)​

Инцидент фиксирует раскрытие секретов, персональных данных или признаков веб-атак в запросах и ответах модели.

Инцидент LLM06

Превышение длины контекста запроса (LLM04)​

Инцидент фиксирует аномально длинный запрос к модели через прокси-шлюз, что может указывать на ресурсную атаку на LLM-сервис.

Инцидент LLM04

Опасная команда в ответе модели (LLM07)​

Инцидент фиксирует деструктивную, эксфильтрационную или повышающую привилегии команду в ответе модели.

Инцидент LLM07