Настройка сбора данных провайдера ThreatFox

Настройка Logstash

Для корректной подготовки Logstash к сбору информации необходимо создать конфигурации в папке /app/logstash/config/conf.d/. В папке logstash находятся необходимые файлы для создания готовой конфигурации.

В папке input находится файл для описания метода сбора данных. Используется плагин http_poller для чтения данных по указанному URL. Настроена частота сбора данных в 1 час.

В папке filter находится обработчик полученных событий.

В папке output описан процесс отправки обработанных данных в Smart Monitor. Необходимо по ключу hosts заменить адрес на адреса hot data и warm data узлов указав их через запятую, например:

hosts => ["https://<HOT_NODE_IP>:9200", "https://<WARM_NODE_IP>:9200"]

Все 3 файла необходимо объединить в один в следующей последовательности: input, filter, output.

После создания конфига необходимо указать pipeline для его запуска. Для этого в директории /app/logstash/config/pipelines.yml в самый конец файла добавьте строки из файла logstash/pipelines/pipelines.yml.

---

Настройка Logrotate

Logrotate автоматизирует процесс управления лог-файлами. Создайте файл ti_rotate.conf в директории /etc/logrotate.d со следующим содержмым:

/app/TI/AMTIP/AM_report/*.json {
    daily
    rotate 1
    missingok
    nocompress
    nocreate
    nomail
    noolddir
    dateext
    dateformat -%Y.%m.%d
    extension .json
    sharedscripts
    postrotate
        # Postrotate для поиска и удаления файлов
        find /app/TI/AMTIP/AM_report/ -name 'domain-*.json' -type f | sort -r | awk 'NR>2 {print}' | xargs rm -f
        find /app/TI/AMTIP/AM_report/ -name 'ip-*.json' -type f | sort -r | awk 'NR>2 {print}' | xargs rm -f
        find /app/TI/AMTIP/AM_report/ -name 'url-*.json' -type f | sort -r | awk 'NR>2 {print}' | xargs rm -f
        find /app/TI/AMTIP/AM_report/ -name 'hash-*.json' -type f | sort -r | awk 'NR>2 {print}' | xargs rm -f
    endscript
}