AI Security: Задачи
Модуль AI Security содержит 27 задач по классификации OWASP TOP 10 LLM.
Задачи выполняются по расписанию и при обнаружении признаков угрозы регистрируют инцидент в Менеджере Инцидентов.
Кому полезны: аналитику ИБ, инженеру SOC
Список задач
| Категория | Задача | Описание |
|---|---|---|
| LLM01 | Промпт-инъекции | Обнаружение попыток промпт-инъекций во входных запросах по библиотеке сигнатур: игнорирование инструкций, подмена роли, извлечение системного промпта, джейлбрейки (Пример инцидента) |
| LLM03 | Неавторизованное изменение обучающих данных | Обнаружение записи, изменения или удаления файлов обучающих датасетов пользователем, не входящим в список авторизованных |
| LLM03 | Нетипичный доступ к обучающим данным | Обнаружение чтения файлов обучающих датасетов пользователем, не входящим в список авторизованных |
| LLM04 | Превышение длины контекста запроса | Обнаружение запросов, объем входного контекста которых превышает установленный порог (Пример инцидента) |
| LLM04 | Превышение допустимого времени генерации | Обнаружение запросов, время обработки которых превышает установленный порог, что может указывать на ресурсную атаку |
| LLM04 | Превышение лимита токенов пользователя | Сравнение расхода токенов пользователя за 15 минут со средним за предыдущие 48 часов; правило срабатывает при многократном превышении |
| LLM04 | Превышение общего лимита токенов | Контроль суммарного расхода токенов по всем запросам за 15 минут относительно установленного порога |
| LLM04 | Превышение порога частоты запросов | Подсчет числа запросов пользователя в минуту и сравнение с установленным порогом |
| LLM05 | Нетипичное внешнее соединение агента | Обнаружение исходящих соединений агента на адреса вне списка разрешенных адресатов |
| LLM05/08 | Чрезмерное выделение прав агентам | Выявление опасных сочетаний в конфигурациях разрешений: автоподтверждение без списка запретов, избыточные префиксы команд, сетевой доступ при автоподтверждении |
| LLM05/08 | Отклонение от профиля разрешений | Сравнение текущей конфигурации разрешений агента с эталонными значениями из справочника agent_permission_baseline: режим подтверждения, сеть, sandbox, политика, списки разрешений |
| LLM05/08 | Попытка превышения полномочий агентом | Обнаружение неуспешных действий агентов и сообщений об отказе в доступе (permission denied, forbidden, sandbox) (Пример инцидента) |
| LLM06 | Раскрытие конфиденциальной информации | Анализ запросов и ответов модели на наличие секретов, персональных данных, коммерческой тайны и признаков веб-атак по библиотеке сигнатур (Пример инцидента) |
| LLM06 | Раскрытие системного промпта моделью | Выявление в ответах модели характерных маркеров служебных инструкций и системного промпта |
| LLM06 | Утечка конфиденциальных данных во внешние сервисы | Обнаружение передачи секретов, персональных данных и сведений, составляющих тайну, в запросах к внешним провайдерам |
| LLM07 | Опасная команда в ответе модели | Анализ ответов модели на наличие деструктивных, эксфильтрационных и повышающих привилегии команд (Пример инцидента) |
| LLM07 | Опасный процесс на AI-хосте | Обнаружение запуска процессов с деструктивной, эксфильтрационной или вредоносной командной строкой |
| LLM07 | Опасное действие, порожденное агентом | Обнаружение запуска опасной команды, родительским процессом которой является рантайм AI-агента |
| LLM07 | Корреляция: промпт-инъекция → действие | Корреляция опасного действия в системе с предшествовавшей промпт-инъекцией на том же хосте |
| LLM07 | Корреляция: опасный ответ модели → действие | Корреляция опасного действия в системе с предшествовавшим ответом модели с опасной командой на том же хосте |
| LLM10 | Успешный доступ к хранилищу моделей нетипичным пользователем | Обнаружение обращений к файлам моделей пользователем, не входящим в список авторизованных |
| LLM10 | Множественный доступ к файлам моделей | Подсчет числа обращений к файлам весов для каждого пользователя и хоста за интервал; правило фиксирует превышение порога |
| LLM10 | Эксфильтрация артефактов модели процессом | Обнаружение команд передачи данных (scp, rsync, rclone, curl и др.) в сочетании с обращением к файлам весов моделей |
| LLM10 | Исходящая передача весов во внешнюю сеть | Корреляция крупных исходящих соединений с фактом доступа к файлам моделей на том же хосте |
| LLM10 | API-эксфильтрация | Сравнение числа запросов пользователя к LLM API за 15 минут со скользящим средним за 48 часов; многократное превышение может указывать на попытку извлечения модели |
| Служебная | Наполнение справочника agent_permission_baseline | Ежесуточное вычисление актуальных значений разрешений для каждого агента и сохранение эталонного профиля прав, используемого правилом контроля отклонений |
Обратите внимание!
Пороговые значения, заданные в задачах, можно скорректировать с учетом особенностей конкретной инсталляции.