AI Security
Назначение
Модуль AI Security предназначен для обнаружения угроз безопасности AI-контура, LLM-сервисов и AI-агентов в Smart Monitor по классификации OWASP TOP 10 LLM.
Он анализирует запросы к LLM, конфигурации разрешений AI-агентов и загрузку вычислительных ресурсов, выявляя отклонения, характерные для атак на большие языковые модели и агентские системы.
Модуль обеспечивает обнаружение угроз по следующим направлениям:
- Промпт-инъекции: попытки внедрения инструкций во входные запросы к LLM
- Отказ в обслуживании (DoS): превышение лимитов токенов, длины контекста, времени генерации, частоты запросов, аномальная утилизация GPU
- Полномочия AI-агентов: избыточные права, отклонения от эталонного профиля разрешений, попытки превышения полномочий
- Утечки данных: раскрытие конфиденциальной информации и системного промпта в ответах модели
- Кража модели: нетипичный доступ к хранилищам моделей, массовая выгрузка весов, эксфильтрация артефактов
- Опасные действия: опасные команды в ответах моделей и действия, порожденные агентами
Компоненты модуля
- Дашборды: 2 дашборда для мониторинга угроз LLM, безопасности агентов и попыток кражи моделей
- Задачи: 27 задач обнаружения угроз по категориям OWASP TOP 10 LLM с формированием инцидентов
- Справочники: 11 справочников сигнатур атак и эталонных значений
- Источники данных: события локальных AI-агентов Claude Code, Claude Desktop и Codex, снимки их конфигураций разрешений, GPU-метрики DCGM Exporter
Разделы документации
Источники данных
Индексы, архитектура сбора и справочники модуля AI Security.
Установка AI Security
3 элемента
Возможности AI Security
4 элемента