Настройка типовых приложений сбора данных

Обратите внимание!

Предполагается, что Smart Beat Manager уже установлен на целевом хосте. Если установка еще не выполнена, обратитесь к инструкции по установке Smart Beat Manager.

Условные обозначения

• HOST_LOGSTASH — адрес хоста с Logstash
• HOST_OS_DATA — адрес узла с ролью data
• USERNAME_OS — имя пользователя Smart Monitor, необходимо для настройки конфигураций и входа в OpenSearch
• PASSWORD_OS — пароль для пользователя Smart Monitor
• HOST_SBM — адрес хоста, где установлен Smart Beat Manager
• SBM_HOME — домашняя директория установки Smart Beat Manager, обычно это /app/smartBeatManager/
• SB_HOME — домашняя директория установки Smart Beat, обычно для Linux это - /app/smartBeat/, для Windows - C:\Program Files\smartBeat\

Настройка конфигураций в веб интерфейсе

Загрузка Beats файлов

Перед выполнением дальнейшей настройки необходимо загрузить требуемые пакеты Beats, включая соответствующие дистрибутивы. В приведенных примерах это Metricbeat, Winlogbeat и Filebeat. Дистрибутивы доступны для скачивания на официальном сайте Elastic.

предупреждение

Используйте версии Beats, публикуемые под открытой лицензией (OSS).

Добавление дистрибутивов Beats в Smart Beat Manager

Добавление дистрибутива рассматривается на примере Filebeat. Для остальных Beats действия выполняются аналогично.

Чтобы загрузить файл Beats в Smart Beat Manager, откройте раздел Файлы в интерфейсе Управление Smart Beat (Навигационное меню - Управление Smart Beat - Файлы).

Загрузите файл, нажав кнопку выбора файла или перетащив его в область drag-and-drop.

После полной загрузки файла нажмите кнопку Загрузить.

После загрузки файл появится в списке доступных конфигураций.

Настройки приложений Smart Beat

Чтобы создать приложение Smart Beat, перейдите в раздел Приложения в интерфейсе Управление Smart Beat (Навигационное меню - Управление Smart Beat - Приложения).

Нажмите кнопку Создать, после чего откроется окно настройки приложения.

Настройка приложения для сбора метрик Linux

В поле Название укажите имя создаваемого приложения. Тип приложения оставьте по умолчанию - Beat. В поле Тип агента выберите metricbeat.

Задать конфигурацию приложения вы можете либо, загрузив файл конфигурации, либо описав её прямо в интерфейсе в поле Конфигурация. Ниже приведен пример конфигурации:

metricbeat.modules:
- module: system
  metricsets:
    - cpu
    - memory
    - network
    - filesystem
    - diskio
  enabled: true


output.logstash:
  hosts: ["<HOST_LOGSTASH>:51121"]
  ssl.certificate: "$SB_HOME/cert/cert.pem"
  ssl.key: "$SB_HOME/cert/key.pem"
  ssl.certificate_authorities: "$SB_HOME/cert/ca-cert.pem"

В разделе metricbeat.modules настраиваются параметры для сбора метрик. В данном примере активируется модуль system, предназначенный для сбора стандартных системных метрик ОС. В параметре metricsets указаны конкретные разделы метрик: состояние процессора, использование памяти, параметры сетевого трафика, дисковое пространство и файловая система. Подробную информацию о возможных настройках можно найти в официальной документации Elastic. Для активации модуля параметр enabled должен быть установлен в значение true.

В разделе output.logstash в параметре hosts необходимо указать IP и порт logstash (например, 51121). Также в этом разделе указываются параметры SSL, обеспечивающие защищенное соединение между Beat и Logstash при пересылке данных.

Обратите внимание!

Все пути в конфигурационных файлах должны быть указаны относительно файловой системы целевого сервера, на котором запускается агент, а не сервера Smart Beat Manager.

В разделе Настройки конфигурации загрузите ранее созданный и настроенный файл конфигурации, нажав кнопку загрузки или перетащив файл в область drag-and-drop.

В результате вы получите следующие настройки приложения:

Нажмите на кнопку Сохранить.

Настройка приложения для сбора событий Windows

Настройка приложения выполняется аналогично предыдущему разделу, учитывая отличия, описанные ниже.

В поле Тип агента выберите winlogbeat.

Пример конфигурации для winlogbeat.yml:

winlogbeat.event_logs:
  - name: Application
    ignore_older: 72h
  - name: Security
  - name: System

setup.template.name: "winlogbeat"
setup.template.pattern: "winlogbeat"

output.elasticsearch:
  hosts: ["<HOST_LOGSTASH>:51122"]
  ssl.certificate: "C:\\Program Files\\smartBeat\\cert\\node-cert.pem"
  ssl.key: "C:\\Program Files\\smartBeat\\cert\\node-key.pem"
  ssl.certificate_authorities: "C:\\Users\\user\\Documents\\ca-cert.pem"

В разделе winlogbeat.event_logs указывается перечень журналов событий Windows, из которых будет производиться сбор данных. Подробное описание доступных параметров приведено в официальной документации Elastic.

Обратите внимание!

При указании путей в конфигурационных файлах для Windows обратные слэши должны быть экранированы.

В результате вы получите следующие настройки приложения:

Настройка приложения для чтения логов из файла

Настройка приложения выполняется аналогично предыдущим разделам, учитывая отличия, описанные ниже.

В поле Тип агента выберите filebeat.

Пример конфигурации для filebeat.yml:

filebeat.inputs:
  - type: filestream
    id: log-secure
    paths:
      - "/var/log/nginx.log"

output.logstash:
  hosts: ["<HOST_LOGSTASH>:51123"]
  ssl.certificate: "$SB_HOME/cert/cert.pem"
  ssl.key: "$SB_HOME/cert/key.pem"
  ssl.certificate_authorities: "$SB_HOME/cert/ca-cert.pem"

В разделе filebeat.inputs задаются параметры:

• type: filestream — применяется для чтения лог-файлов
• id — уникальный идентификатор для данного input блока, позволяет различать несколько input блоков
• paths — путь или список путей (с поддержкой масок) до считываемых файлов

Раздел output.logstash настраивается аналогично соответствующему блоку в примере для metricbeat.

В результате вы получите следующие настройки приложения:

Настройка групп

Чтобы создать группу, перейдите в раздел Группы в интерфейсе Управление Smart Beat (Навигационное меню - Управление Smart Beat - Группы).

Нажмите кнопку Создать, после чего откроется окно настройки группы.

Основная информация по заполняемым полям:

• Название - название для группы агентов. Рекомендуется использовать осмысленные и описательные имена, чтобы в дальнейшем упростить идентификацию назначения группы
• Приложения - список приложений, которые будут запускаться с помощью Beats
• Файлы - перечень всех дистрибутивов Beats, которые необходимо использовать для данной группы
• Фильтры - правила с прямой логикой, определяющие на каких хостах (по имени хоста, ID или IP) с установленным агентом Smart Beat должны запускаться указанные приложения. Допускается указание нескольких значений и использование масок с символом *
• Исключения - правила с обратной логикой, которые настраиваются для исключения хостов из списка тех, на которых должны запускаться указанные приложения. Допускается указание нескольких значений и использование масок с символом *
• Системы - правила с прямой логикой для указания типа операционной, определяющие на каких хостах с установленным агентом Smart Beat должны запускаться указанные приложения

Настройка группы для metricbeat

• в поле Название указывается имя, например: Linux Metricbeat
• в поле Приложения выбирается ранее созданное приложение metricbeat
• в поле Файлы указывается ранее загруженный дистрибутив Beats, например: metricbeat-oss-8.6.2-linux-x86_64.tar.gz
• в поле Фильтры перечисляются наименования, идентификаторы или IP-адреса агентов, разделенные запятыми; в данном случае используется идентификатор
• в поле Исключения задаются агенты (по имени, идентификатору или IP), которые должны быть исключены
• в поле Системы выбирается linux-amd64

После заполнения всех полей параметры группы будут иметь следующий вид:

Нажмите на кнопку Сохранить.

Настройка группы для winlogbeat

• в поле Название указывается имя, например: Windows Events
• в поле Приложения выбирается ранее созданное приложение winlogbeat
• в поле Файлы указывается раннее загруженный архив Beats, например: winlogbeat-8.9.2-windows-x86_64.zip
• в поле Фильтры перечисляются наименования, идентификаторы или IP-адреса агентов, разделенные запятыми; в данном случае используется наименование и маска агентов
• в поле Исключения задаются агенты (по имени, идентификатору или IP), которые должны быть исключены
• в поле Системы выбирается windows-amd64

После заполнения всех полей параметры группы будут иметь следующий вид:

Нажмите на кнопку Сохранить.

Настройка группы для filebeat

• в поле Название указывается имя, например: Linux Filebeat
• в поле Приложения выбирается ранее созданное приложение filebeat
• в поле Файлы указывается раннее загруженный дистрибутив Beats, например: filebeat-8.17.3-linux-x86_64.tar.gz
• в поле Фильтры перечисляются наименования, идентификаторы или IP-адреса агентов, разделенные запятыми; в данном случае используется IP адрес агента
• в поле Исключения задаются агенты (по имени, идентификатору или IP), которые должны быть исключены
• в поле Системы выбирается linux-amd64

После заполнения всех полей параметры группы будут иметь следующий вид:

Нажмите на кнопку Сохранить.

На этом настройка приложений Smart Beat закончена.

Настройка конфигураций на сервере (альтернативный способ)

Существует альтернативный способ настройки конфигураций агентов. При данном способе необходимо иметь доступ на сервер, где установлен Smart Beat Manager для ручного редактирования его файлов конфигурации.

Загрузка Beats

Скопируйте загруженные дистрибутивы Beats и поместите их в директорию $SBM_HOME/binaries/.

sudo cp ~/binaries/*  $SBM_HOME/binaries/
sudo chown -R sbm:sbm $SBM_HOME/

Настройка групп

Откройте для редактирования файл serverclasses.yml расположенный в директории $SBM_HOME/etc и добавьте необходимые параметры конфигурации. Ниже приведен пример содержимого файла:

- name: Linux Metricbeat
  apps:
  - metricbeat_linux
  binaries:
  - metricbeat-oss-8.6.2-linux-x86_64.tar.gz
  systems:
  - linux-amd64
  filters:
  - 31d7dfc783bs39d6ead9c721153289de44d1047d56ca96456c873df481a4c3d1
  - 3F2504E0-4F89-11D3-9A0C-0305E82C3301
- name: Windows Events
  apps:
  - winlogbeat_events
  binaries:
  - winlogbeat-8.9.2-windows-x86_64.zip
  systems:
  - windows-amd64
  filters:
  - "prod_*"
  - "test_server"
- name: Linux Filebeat
  apps:
  - filebeat_linux
  binaries:
  - filebeat-oss-8.7.1-linux-x86_64.tar.gz
  systems:
  - linux-amd64
  filters:
  - 172.16.0.1

Описание параметров вы можете найти в разделе выше, описывающем настройку группы через веб интерфейс.

к сведению

Обязательными для группы являются поля name, apps, filters и binaries.

Пример настройки приложения для сбора метрик Linux

Создайте директорию с именем, точно совпадающим с тем, что указано в поле apps в конфигурационном файле serverclasses.yml:

sudo -u sbm mkdir $SBM_HOME/apps/metricbeat_linux

Создайте конфигурационный файл и откройте его для редактирования:

sudo -u sbm nano $SBM_HOME/apps/metricbeat_linux/metricbeat.yml

В качестве содержимого файла metricbeat.yml вы можете использовать пример из раздела Настройка приложения для сбора метрик linux.

Пример настройки приложения для сбора событий Windows

Создайте директорию с именем, точно совпадающим с тем, что указано в поле apps в конфигурационном файле serverclasses.yml:

sudo -u sbm mkdir $SBM_HOME/apps/winlogbeat_events

Создайте и откройте конфигурационный файл для редактирования:

sudo -u sbm nano $SBM_HOME/apps/metricbeat_linux/winlogbeat.yml

В качестве содержимого файла winlogbeat.yml вы можете использовать пример из раздела Настройка приложения для сбора событий Windows.

Пример настройки приложения для чтения логов из файла

Создайте директорию с именем, точно совпадающим с тем, что указано в поле apps в конфигурационном файле serverclasses.yml:

sudo -u sbm mkdir $SBM_HOME/apps/filebeat_linux

Создайте конфигурационный файл и откройте его для редактирования:

sudo -u sbm nano $SBM_HOME/apps/metricbeat_linux/filebeat.yml

В качестве содержимого файла filebeat.yml вы можете использовать пример из раздела Настройка приложения для чтения логов из файла.

Применение настроек

Для применения изменений требуется чтобы Smart Beat Manager перечитал конфигурационные файлы. Этого возможно добиться следующими способами:

• перезапустить службу с помощью systemd:

sudo systemctl restart smartBeatManager

• использовать API Smart Beat Manager:

curl -k https://<HOST_SBM>:7769/reload -u sbm