Версия: 6.2

Настройка индексов

В текущей версии модуля пересмотрено хранение данных: индикаторы сохраняются в индексах по типам IoC и поставщикам, а срок действия контролируется для каждого индикатора отдельно по полю Threat.indicator.lifetime. Активные индексы объединяются алиасом threat_intelligence_database_ioc.

Управление сроками хранения выполняет задача SCRIPT - Threat Intelligence - LifeTime IoC. Она запускается каждые 10 минут, переносит просроченные индикаторы в индекс корзины threat_intelligence_recycle_bin и удаляет их из активной базы. Записи хранятся в корзине 30 суток, после чего удаляются окончательно. При восстановлении индикатор возвращается в активную базу с новым сроком действия 90 суток.

Поскольку сроки контролируются на уровне отдельных IoC, для хранения данных этого модуля политика ISM и ротация индексов по ней не используются. Порядок работы с корзиной описан в статье Жизненный цикл IoC.

Создание шаблонов индексов

Откройте Навигационное меню - Параметры системы - Консоль разработчика и создайте шаблоны индексов для используемых типов IoC и поставщиков. Имена индексов должны совпадать со значениями параметра index в конфигурации Logstash.

Ниже приведён пример шаблона для доменов AMTIP. Количество основных шардов и реплик задайте в соответствии с архитектурой кластера.

Пример шаблона для доменов AMTIP

PUT _index_template/threat_intelligence_template_domain_amtip
{
  "index_patterns": [
    "threat_intelligence_index-domain-amtip"
  ],
  "template": {
    "settings": {
      "index.number_of_shards": 1,
      "index.number_of_replicas": 1
    },
    "mappings": {
      "dynamic": "true",
      "dynamic_templates": [
        {
          "keyword_fields": {
            "path_unmatch": "^(event.original)$",
            "match_mapping_type": "string",
            "match_pattern": "regex",
            "mapping": {
              "type": "keyword"
            }
          }
        },
        {
          "text_fields": {
            "path_match": "^(event.original)$",
            "match_mapping_type": "string",
            "match_pattern": "regex",
            "mapping": {
              "type": "text"
            }
          }
        },
        {
          "long_fields": {
            "path_match": "^(event.risk_score|threat.indicator.last_seen|threat.indicator.first_seen|threat.indicator.modified_at)$",
            "match_mapping_type": "long",
            "match_pattern": "regex",
            "mapping": {
              "type": "keyword"
            }
          }
        },
        {
          "date_fields": {
            "path_match": "^(event.risk_score|threat.indicator.last_seen|threat.indicator.first_seen|threat.indicator.modified_at)$",
            "match_mapping_type": "date",
            "match_pattern": "regex",
            "mapping": {
              "type": "keyword"
            }
          }
        },
        {
          "string_fields": {
            "path_match": "^(event.risk_score|threat.indicator.last_seen|threat.indicator.first_seen|threat.indicator.modified_at)$",
            "match_mapping_type": "string",
            "match_pattern": "regex",
            "mapping": {
              "type": "keyword"
            }
          }
        }
      ],
      "numeric_detection": false,
      "properties": {}
    },
    "aliases": {
      "threat_intelligence_index-domain": {},
      "threat_intelligence_database_ioc": {}
    }
  },
  "priority": 1
}

Создание индексов

Создайте индекс для каждой используемой комбинации типа IoC и поставщика. Пример для доменов AMTIP:

PUT threat_intelligence_index-domain-amtip
{
  "aliases": {
    "threat_intelligence_index-domain": {},
    "threat_intelligence_database_ioc": {}
  }
}

Алиас threat_intelligence_index-domain объединяет домены разных поставщиков для поиска, а threat_intelligence_database_ioc — все активные IoC. Для остальных типов используйте алиасы threat_intelligence_index-ip, threat_intelligence_index-hash и threat_intelligence_index-url. Корзина хранится в отдельном индексе threat_intelligence_recycle_bin.

Создание справочников Lookup

Справочники используют обычные индексы IoC. Для объединения данных нескольких поставщиков укажите алиас соответствующего типа индикаторов.

Информация

Если справочники уже установлены вместе с контентным модулем, перейдите к следующему разделу.

Откройте Навигационное меню - Lookup Manager - Создание справочника
Выберите тип источника OpenSearch
Укажите название конфигурации и источник данных из таблицы

Тип IoC	Название конфигурации	Индекс или алиас
Domain	`threat_intelligence_lookup_domain`	`threat_intelligence_index-domain`
Hash	`threat_intelligence_lookup_hash`	`threat_intelligence_index-hash`
IP	`threat_intelligence_lookup_ip`	`threat_intelligence_index-ip`
URL	`threat_intelligence_lookup_url`	`threat_intelligence_index-url`

Выберите общие поля и дополнительные поля соответствующего типа IoC, перечисленные ниже
Сохраните справочник и повторите настройку для остальных используемых типов IoC

Общие поля

Включите эти поля в каждый справочник:

threat.indicator.name
event.provider
threat.indicator.type
Threat.indicator.category
threat.indicator.provider
threat.indicator.confidence
Threat.indicator.severity
event.risk_score
Threat.indicator.risk_score
threat.indicator.description
threat.indicator.last_seen
threat.indicator.first_seen
Threat.indicator.lifetime
tags
Threat.indicator.fp.alarm
Threat.indicator.fp.description
Threat.indicator.blackists

Дополнительные поля по типам IoC

Тип IoC	Дополнительные поля
Domain	`threat.indicator.domain`, `Threat.indicator.tld`, `Threat.indicator.resolved.registrant`, `Threat.indicator.resolved.registrar`, `Threat.indicator.malware.name`, `Threat.indicator.malware.printable`
Hash	`threat.indicator.file.name`, `threat.indicator.file.hash.sha256`, `threat.indicator.file.hash.sha1`, `threat.indicator.file.hash.md5`, `Threat.indicator.ttp`
IP	`threat.indicator.geo.country_name`, `threat.indicator.geo.city`, `threat.indicator.geo.latitude`, `threat.indicator.geo.longitude`
URL	`Threat.indicator.malware.name`, `Threat.indicator.malware.printable`, `threat.indicator.url.domain`

Конфигурация шаблонов настроек индексов в Smart Monitor

Задайте настройки шаблонов индексов. Для этого в левой панели перейдите в Паттерны индексов (Навигационное меню - Параметры системы - Настройки модулей - OPENSEARCH - Паттерны индексов) и создайте следующие шаблоны:

threat_intelligence_index-domain-*
threat_intelligence_index-hash-*
threat_intelligence_index-ip-*
threat_intelligence_index-url-*

Для каждого шаблона укажите поле времени @timestamp.

Импорт корреляционных правил

Внимание!

Если правила установлены, перейдите к следующему шагу.

Для добавления правил перейдите в Список задач (Навигационное меню - Планировщик задач - Список задач) и импортируйте задачи из папки rules.

Правила нацелены на обнаружение взаимодействия с базой активов IoC и создание инцидентов. Посмотреть инциденты можно в Менеджер инцидентов (Навигационное меню - Менеджер инцидентов - Менеджер инцидентов).

Создание шаблонов индексов​

Создание индексов​

Создание справочников Lookup​

Общие поля​

Дополнительные поля по типам IoC​

Конфигурация шаблонов настроек индексов в Smart Monitor​

Импорт корреляционных правил​