Перейти к основному содержимому
Версия: 5.3

Настройка политики индексов

Из директории index_settings необходимо добавить предварительные настройки индексов для сбора данных. Через навигационное меню перейдите в Параметры системы - Управление индексами - Политики индекса и нажмите Создать политику. В открывшемся окне выбрать пункт Редактор JSON. Заполните настройки по следующему описанию:

  1. Идентификатор политики - threat_intelligence_policy
2. Определение политики
{
  "policy": {
    "description": "Rollover after 1d or 20GB, delete after 2d from rollover",
    "default_state": "init",
    "states": [
      {
        "name": "wait",
        "actions": [],
        "transitions": [
          {
            "state_name": "init",
            "conditions": {
              "min_doc_count": 1
            }
          }
        ]
      },
      {
        "name": "init",
        "actions": [
          {
            "retry": {
              "count": 3,
              "backoff": "exponential",
              "delay": "1m"
            },
            "rollover": {
              "min_index_age": "1d",
              "min_primary_shard_size": "20gb",
              "copy_alias": false
            }
          }
        ],
        "transitions": [
          {
            "state_name": "delete",
            "conditions": {
              "min_index_age": "2d"
            }
          }
        ]
      },
      {
        "name": "delete",
        "actions": [
          {
            "retry": {
              "count": 3,
              "backoff": "exponential",
              "delay": "1m"
            },
            "delete": {}
          }
        ],
        "transitions": []
      }
    ],
    "ism_template": [
      {
        "index_patterns": [
          "sm_threat_intelligence_url_*vendor**",
          "sm_threat_intelligence_ip_*vendor**",
          "sm_threat_intelligence_hash_*vendor**",
          "sm_threat_intelligence_domain_*vendor**"
        ]
      }
    ]
  }
}
Информация

Размер ротируемого индекса и сроки хранения можно изменять под конкретные запросы. В данном примере индексы ротируются каждый день и удаляются через 2 дня.

Создание паттернов и настроек индексов​

Для создания паттернов индексов необходимо перейти в Консоль разработчика (Навигационное меню - Параметры системы -Консоль разработчика). Далее выполнить запросы по шаблону ниже с указанием тела запроса из директории index_settings/template:

PUT _index_template/sm_threat_intelligence_template_*тип IoC*_*Поставщик*

Пример запроса шаблона индекса для IoC domain представлен ниже:

Пример запроса шаблона индекса для IoC domain
PUT _index_template/sm_threat_intelligence_template_domain_*Поставщик*
{
  "index_patterns": [
    "sm_threat_intelligence_domain_*Поставщик*"
  ],
  "template": {
    "settings": {
      "opendistro.index_state_management.policy_id": "threat_intelligence_policy",
      "index.opendistro.index_state_management.rollover_alias": "sm_threat_intelligence_domain_*Поставщик*",
      "index.number_of_shards": 1,
      "index.number_of_replicas": 1
    },
    "mappings": {
      "dynamic": "true",
      "dynamic_templates": [
        {
          "keyword_fields": {
            "path_unmatch": "^(event.original)$",
            "match_mapping_type": "string",
            "match_pattern": "regex",
            "mapping": {
              "type": "keyword"
            }
          }
        },
        {
          "text_fields": {
            "path_match": "^(event.original)$",
            "match_mapping_type": "string",
            "match_pattern": "regex",
            "mapping": {
              "type": "text"
            }
          }
        },
        {
          "long_fields": {
            "path_match": "^(event.risk_score|threat.indicator.last_seen|threat.indicator.first_seen|threat.indicator.modified_at)$",
            "match_mapping_type": "long",
            "match_pattern": "regex",
            "mapping": {
              "type": "keyword"
            }
          }
        },
        {
          "date_fields": {
            "path_match": "^(event.risk_score|threat.indicator.last_seen|threat.indicator.first_seen|threat.indicator.modified_at)$",
            "match_mapping_type": "date",
            "match_pattern": "regex",
            "mapping": {
              "type": "keyword"
            }
          }
        },
        {
          "string_fields": {
            "path_match": "^(event.risk_score|threat.indicator.last_seen|threat.indicator.first_seen|threat.indicator.modified_at)$",
            "match_mapping_type": "string",
            "match_pattern": "regex",
            "mapping": {
              "type": "keyword"
            }
          }
        }
      ],
      "numeric_detection": false,
      "properties": {}
    },
    "aliases": {
      "sm_threat_intelligence_indexes": {}
    }
  },
  "priority": 1
}

В данном примере количество основных шардов и реплик равно 1. Эти параметры задаются в зависимости от количества узлов и конфигураций кластера.

Создание партиции​

Для создания первой ротируемой партиции необходимо в консоли разработчика выполнить следующий запрос:

PUT sm_threat_intelligence_*тип IoC*_*Поставщик*-000001
{
  "aliases": {
    "sm_threat_intelligence_*тип IoC*_*Поставщик*": {
      "is_write_index": true
    }
  }
}
Информация

Партиции необходимо создать для каждого типа IoC и поставщика.

Cоздание справочников Lookup​

Внимание!

Если справочники установлены, перейдите к следующему шагу.

После создания активов требуется на основе данных Invenotry создать справочники (Навигационное меню - Lookup Manager - Создание справочника) и указать для каждого типа IoC следующие поля:

  • название конфигурации: sm_threat_intelligence_lookup_*тип IoC*
  • название индекса: sm_threat_intelligence_inventory_*тип IoC*
  • поля: перечислить все поля из актива Inventory

Создание справочников:

  • название конфигурации: sm_threat_intelligence_lookup_domain
  • название индекса: sm_threat_intelligence_inventory_domain
  • поля: base.IoC, base.Поставщик, base.Тип IoC, advanced.Домен, advanced.Домен верхнего уровня, advanced.Регистрант, advanced.Регистратор, advanced.Категории IoC, advanced.Источник IoC, advanced.Оценка поставщика, advanced.Оценка SIEM, advanced.Риск бал поставщика, advanced.Риск бал SIEM, advanced.Дополнительная информация, advanced.Последнее обновление, advanced.Время создания, advanced.Актуальность, advanced.Список уязвимостей, advanced.Тревога FP, advanced.Описание FP, advanced.Черный список, advanced.Название ВПО, advanced.Представитель ВПО

    • Конфигурация шаблонов настроек индексов в Smart Monitor​

    Необходимо задать настройки шаблонов индексов. Для этого в левой панели перейдите в Паттерны индексов (Навигационное меню - Параметры системы - Настройки модулей - OPENSEARCH - Паттерны индексов). Создайте следующие настройки шаблонов:

    • sm_threat_intelligence_domain_*
    • sm_threat_intelligence_hash_*
    • sm_threat_intelligence_ip_*
    • sm_threat_intelligence_url_*
    • sm_threat_intelligence_inventory_domain
    • sm_threat_intelligence_inventory_hash
    • sm_threat_intelligence_inventory_ip
    • sm_threat_intelligence_inventory_url

    У каждого шаблона необходимо указывать поле времени @timestamp.

    Импорт корреляционных правил​

    Внимание!

    Если правила установлены, перейдите к следующему шагу.

    Для добавления правил перейдите в Список задач (Навигационное меню - Планировщик задач - Список задач) и импортируйте задачи из папки rules.

    Правила нацелены на обнаружение взаимодействия с базой активов IoC и создание инцидентов. Посмотреть инциденты можно в Менеджер инцидентов (Навигационное меню - Менеджер инцидентов - Менеджер инцидентов).