Перейти к основному содержимому
Версия: 6.1

Настройка типовых приложений сбора данных

Обратите внимание!

Предполагается, что Smart Beat Manager уже установлен на целевом хосте. Если установка еще не выполнена, обратитесь к инструкции по установке Smart Beat Manager.

Условные обозначения​

  • HOST_LOGSTASH — адрес хоста с Logstash
  • HOST_OS_DATA — адрес узла с ролью data
  • USERNAME_OS — имя пользователя Smart Monitor, необходимо для настройки конфигураций и входа в OpenSearch
  • PASSWORD_OS — пароль для пользователя Smart Monitor
  • HOST_SBM — адрес хоста, где установлен Smart Beat Manager
  • SBM_HOME — домашняя директория установки Smart Beat Manager, обычно это /app/smartBeatManager/
  • SB_HOME — домашняя директория установки Smart Beat, обычно для Linux это - /app/smartBeat/, для Windows - C:\Program Files\smartBeat\

Настройка конфигураций в веб интерфейсе​

Загрузка Beats файлов​

Перед выполнением дальнейшей настройки необходимо загрузить требуемые пакеты Beats, включая соответствующие дистрибутивы. В приведенных примерах это Metricbeat, Winlogbeat и Filebeat. Дистрибутивы доступны для скачивания на официальном сайте Elastic.

Обратите внимание!

Используйте версии Beats, публикуемые под открытой лицензией (OSS).

Добавление дистрибутивов Beats в Smart Beat Manager​

Добавление дистрибутива рассматривается на примере Filebeat. Для остальных Beats действия выполняются аналогично.

Чтобы загрузить файл Beats в Smart Beat Manager, откройте раздел Файлы в интерфейсе Управление Smart Beat (Навигационное меню - Управление Smart Beat - Файлы).

Загрузите файл, нажав кнопку выбора файла или перетащив его в область drag-and-drop.

Окно загрузки файлов

После полной загрузки файла нажмите кнопку Загрузить.

Пример загруженного файла

После загрузки файл появится в списке доступных конфигураций.

Окно уведомления с загруженным файлом

Настройки приложений Smart Beat​

Чтобы создать приложение Smart Beat, перейдите в раздел Приложения в интерфейсе Управление Smart Beat (Навигационное меню - Управление Smart Beat - Приложения).

Окно приложений

Нажмите кнопку Создать, после чего откроется окно настройки приложения.

Окно настройки приложения

Настройка приложения для сбора метрик Linux​

В поле Название укажите имя создаваемого приложения. Тип приложения оставьте по умолчанию - Beat. В поле Тип агента выберите metricbeat.

Задать конфигурацию приложения вы можете либо, загрузив файл конфигурации, либо описав ее прямо в интерфейсе в поле Конфигурация. Ниже приведен пример конфигурации:

metricbeat.modules:
- module: system
  metricsets:
    - cpu
    - memory
    - network
    - filesystem
    - diskio
  enabled: true


output.logstash:
  hosts: ["<HOST_LOGSTASH>:51121"]
  ssl.certificate: "$SB_HOME/cert/cert.pem"
  ssl.key: "$SB_HOME/cert/key.pem"
  ssl.certificate_authorities: "$SB_HOME/cert/ca-cert.pem"

В разделе metricbeat.modules настраиваются параметры для сбора метрик. В данном примере активируется модуль system, предназначенный для сбора стандартных системных метрик ОС. В параметре metricsets указаны конкретные разделы метрик: состояние процессора, использование памяти, параметры сетевого трафика, дисковое пространство и файловая система. Подробную информацию о возможных настройках можно найти в официальной документации Elastic. Для активации модуля параметр enabled должен быть установлен в значение true.

В разделе output.logstash в параметре hosts необходимо указать IP и порт logstash (например, 51121). Также в этом разделе указываются параметры SSL, обеспечивающие защищенное соединение между Beat и Logstash при пересылке данных.

Обратите внимание!

Все пути в конфигурационных файлах должны быть указаны относительно файловой системы целевого сервера, на котором запускается агент, а не сервера Smart Beat Manager.

В разделе Настройки конфигурации загрузите ранее созданный и настроенный файл конфигурации, нажав кнопку загрузки или перетащив файл в область drag-and-drop.

В результате вы получите следующие настройки приложения:

Приложение metricbeat

Нажмите на кнопку Сохранить.

Настройка приложения для сбора событий Windows​

Настройка приложения выполняется аналогично предыдущему разделу, учитывая отличия, описанные ниже.

В поле Тип агента выберите winlogbeat.

Пример конфигурации для winlogbeat.yml:

winlogbeat.event_logs:
  - name: Application
    ignore_older: 72h
  - name: Security
  - name: System

setup.template.name: "winlogbeat"
setup.template.pattern: "winlogbeat"

output.logstash:
  hosts: ["<HOST_LOGSTASH>:51122"]
  ssl.certificate: "C:\\Program Files\\smartBeat\\cert\\node-cert.pem"
  ssl.key: "C:\\Program Files\\smartBeat\\cert\\node-key.pem"
  ssl.certificate_authorities: "C:\\Users\\user\\Documents\\ca-cert.pem"

В разделе winlogbeat.event_logs указывается перечень журналов событий Windows, из которых будет производиться сбор данных. Подробное описание доступных параметров приведено в официальной документации Elastic.

Обратите внимание!

При указании путей в конфигурационных файлах для Windows обратные слэши должны быть экранированы.

В результате вы получите следующие настройки приложения:

Приложение winlogbeat

Настройка приложения для чтения логов из файла​

Настройка приложения выполняется аналогично предыдущим разделам, учитывая отличия, описанные ниже.

В поле Тип агента выберите filebeat.

Пример конфигурации для filebeat.yml:

filebeat.inputs:
  - type: filestream
    id: log-secure
    paths:
      - "/var/log/nginx.log"

output.logstash:
  hosts: ["<HOST_LOGSTASH>:51123"]
  ssl.certificate: "$SB_HOME/cert/cert.pem"
  ssl.key: "$SB_HOME/cert/key.pem"
  ssl.certificate_authorities: "$SB_HOME/cert/ca-cert.pem"

В разделе filebeat.inputs задаются параметры:

  • type: filestream — применяется для чтения лог-файлов
  • id — уникальный идентификатор для данного input блока, позволяет различать несколько input блоков
  • paths — путь или список путей (с поддержкой масок) до считываемых файлов

Раздел output.logstash настраивается аналогично соответствующему блоку в примере для metricbeat.

В результате вы получите следующие настройки приложения:

Приложение filebeat

Настройка групп​

Чтобы создать группу, перейдите в раздел Группы в интерфейсе Управление Smart Beat (Навигационное меню - Управление Smart Beat - Группы).

Окно группы

Нажмите кнопку Создать, после чего откроется окно настройки группы.

Окно настройки группы

Основная информация по заполняемым полям:

  • Название - название для группы агентов. Рекомендуется использовать осмысленные и описательные имена, чтобы в дальнейшем упростить идентификацию назначения группы
  • Приложения - список приложений, которые будут запускаться с помощью Beats
  • Файлы - перечень всех дистрибутивов Beats, которые необходимо использовать для данной группы
  • Фильтры - правила с прямой логикой, определяющие на каких хостах (по имени хоста, ID или IP) с установленным агентом Smart Beat должны запускаться указанные приложения. Допускается указание нескольких значений и использование масок с символом *
  • Исключения - правила с обратной логикой, которые настраиваются для исключения хостов из списка тех, на которых должны запускаться указанные приложения. Допускается указание нескольких значений и использование масок с символом *
  • Системы - правила с прямой логикой для указания типа операционной, определяющие на каких хостах с установленным агентом Smart Beat должны запускаться указанные приложения

Настройка группы для metricbeat​

  • в поле Название указывается имя, например: Linux Metricbeat
  • в поле Приложения выбирается ранее созданное приложение metricbeat
  • в поле Файлы указывается ранее загруженный дистрибутив Beats, например: metricbeat-oss-8.6.2-linux-x86_64.tar.gz
  • в поле Фильтры перечисляются наименования, идентификаторы или IP-адреса агентов, разделенные запятыми; в данном случае используется идентификатор
  • в поле Исключения задаются агенты (по имени, идентификатору или IP), которые должны быть исключены
  • в поле Системы выбирается linux-amd64

После заполнения всех полей параметры группы будут иметь следующий вид:

Группа metricbeat

Нажмите на кнопку Сохранить.

Настройка группы для winlogbeat​

  • в поле Название указывается имя, например: Windows Events
  • в поле Приложения выбирается ранее созданное приложение winlogbeat
  • в поле Файлы указывается раннее загруженный архив Beats, например: winlogbeat-8.9.2-windows-x86_64.zip
  • в поле Фильтры перечисляются наименования, идентификаторы или IP-адреса агентов, разделенные запятыми; в данном случае используется наименование и маска агентов
  • в поле Исключения задаются агенты (по имени, идентификатору или IP), которые должны быть исключены
  • в поле Системы выбирается windows-amd64

После заполнения всех полей параметры группы будут иметь следующий вид:

Группа winlogbeat

Нажмите на кнопку Сохранить.

Настройка группы для filebeat​

  • в поле Название указывается имя, например: Linux Filebeat
  • в поле Приложения выбирается ранее созданное приложение filebeat
  • в поле Файлы указывается раннее загруженный дистрибутив Beats, например: filebeat-8.17.3-linux-x86_64.tar.gz
  • в поле Фильтры перечисляются наименования, идентификаторы или IP-адреса агентов, разделенные запятыми; в данном случае используется IP адрес агента
  • в поле Исключения задаются агенты (по имени, идентификатору или IP), которые должны быть исключены
  • в поле Системы выбирается linux-amd64

После заполнения всех полей параметры группы будут иметь следующий вид:

Группа filebeat

Нажмите на кнопку Сохранить.

На этом настройка приложений Smart Beat закончена.

Настройка конфигураций на сервере (альтернативный способ)​

Существует альтернативный способ настройки конфигураций агентов. При данном способе необходимо иметь доступ на сервер, где установлен Smart Beat Manager для ручного редактирования его файлов конфигурации.

Загрузка Beats​

Скопируйте загруженные дистрибутивы Beats и поместите их в директорию $SBM_HOME/binaries/.

sudo cp ~/binaries/*  $SBM_HOME/binaries/
sudo chown -R sbm:sbm $SBM_HOME/

Настройка групп​

Откройте для редактирования файл serverclasses.yml расположенный в директории $SBM_HOME/etc и добавьте необходимые параметры конфигурации. Ниже приведен пример содержимого файла:

- name: Linux Metricbeat
  apps:
  - metricbeat_linux
  binaries:
  - metricbeat-oss-8.6.2-linux-x86_64.tar.gz
  systems:
  - linux-amd64
  filters:
  - 31d7dfc783bs39d6ead9c721153289de44d1047d56ca96456c873df481a4c3d1
  - 3F2504E0-4F89-11D3-9A0C-0305E82C3301
- name: Windows Events
  apps:
  - winlogbeat_events
  binaries:
  - winlogbeat-8.9.2-windows-x86_64.zip
  systems:
  - windows-amd64
  filters:
  - "prod_*"
  - "test_server"
- name: Linux Filebeat
  apps:
  - filebeat_linux
  binaries:
  - filebeat-oss-8.7.1-linux-x86_64.tar.gz
  systems:
  - linux-amd64
  filters:
  - 172.16.0.1

Описание параметров вы можете найти в разделе выше, описывающем настройку группы через веб интерфейс.

к сведению

Обязательными для группы являются поля name, apps, filters и binaries.

Пример настройки приложения для сбора метрик Linux​

Создайте директорию с именем, точно совпадающим с тем, что указано в поле apps в конфигурационном файле serverclasses.yml:

sudo -u sbm mkdir $SBM_HOME/apps/metricbeat_linux

Создайте конфигурационный файл и откройте его для редактирования:

sudo -u sbm nano $SBM_HOME/apps/metricbeat_linux/metricbeat.yml

В качестве содержимого файла metricbeat.yml вы можете использовать пример из раздела Настройка приложения для сбора метрик linux.

Пример настройки приложения для сбора событий Windows​

Создайте директорию с именем, точно совпадающим с тем, что указано в поле apps в конфигурационном файле serverclasses.yml:

sudo -u sbm mkdir $SBM_HOME/apps/winlogbeat_events

Создайте и откройте конфигурационный файл для редактирования:

sudo -u sbm nano $SBM_HOME/apps/metricbeat_linux/winlogbeat.yml

В качестве содержимого файла winlogbeat.yml вы можете использовать пример из раздела Настройка приложения для сбора событий Windows.

Пример настройки приложения для чтения логов из файла​

Создайте директорию с именем, точно совпадающим с тем, что указано в поле apps в конфигурационном файле serverclasses.yml:

sudo -u sbm mkdir $SBM_HOME/apps/filebeat_linux

Создайте конфигурационный файл и откройте его для редактирования:

sudo -u sbm nano $SBM_HOME/apps/metricbeat_linux/filebeat.yml

В качестве содержимого файла filebeat.yml вы можете использовать пример из раздела Настройка приложения для чтения логов из файла.

Применение настроек​

Для применения изменений требуется чтобы Smart Beat Manager перечитал конфигурационные файлы. Этого возможно добиться следующими способами:

  • перезапустить службу с помощью systemd:
sudo systemctl restart smartBeatManager
  • использовать API Smart Beat Manager:
curl -k https://<HOST_SBM>:7769/reload -u sbm