Агентский сбор данных в Smart Monitor

Агентский сбор данных — способ получения журналов, метрик и других событий непосредственно с конечных узлов в Smart Monitor. Для этого на каждый узел устанавливается агент Smart Beat — агрегатор приложений Elastic Beats, которые собирают данные из разных источников. Управление агентами, их конфигурациями и приложениями осуществляется централизованно через Smart Beat Manager.

Такой подход позволяет одновременно собирать с одного узла разные типы данных: например, системные метрики, журналы приложений и события безопасности Windows. При этом состав приложений и параметры сбора можно назначать отдельно для каждого агента или сразу для группы агентов.

Архитектура агентского сбора данных

Процесс агентского сбора состоит из следующих этапов:

1. Smart Beat Manager назначает конечному узлу дистрибутивы приложений Elastic Beats и их конфигурации

2. Smart Beat получает назначение, устанавливает приложения и контролирует их запуск

3. Каждое приложение собирает свой тип данных и отправляет события в Smart Monitor Data Collector либо напрямую в Smart Monitor Data Storage

Smart Beat Manager координирует работу агентов, но не участвует в передаче собранных событий.

Smart Beat Manager

Smart Beat Manager — компонент системы, который координирует работу агентов Smart Beat. Он обеспечивает централизованное управление конфигурациями и приложениями, а также предоставляет сведения о состоянии агентов: активности, установленных приложениях и назначенных группах.

Подробная информация приведена в статье Управление Smart Beat.

Smart Beat

Smart Beat устанавливается на конечный узел и получает назначенные приложения и конфигурации от Smart Beat Manager. После этого агент устанавливает, запускает и контролирует соответствующие Elastic Beats.

На одном узле могут одновременно работать несколько Beats. Например, Filebeat может собирать журналы приложений, а Metricbeat — метрики операционной системы. Набор приложений определяется задачами сбора для конкретного узла.

Информация

Порядок установки и настройки агента приведен в статьях Smart Beat для Linux и Smart Beat для Windows.

Обзор Elastic Beats

Elastic Beats — легковесные специализированные приложения для сбора данных из различных источников. Каждый тип Beat решает определенную задачу: собирает журналы, системные метрики, события безопасности, результаты проверок доступности или сетевой трафик.

Elastic Beats устанавливаются и запускаются внутри Smart Beat. Благодаря разделению по типам данных на конечный узел можно назначить только те приложения, которые необходимы для конкретного сценария сбора.

Filebeat

Filebeat предназначен для сбора данных из файлов. Он отслеживает появление новых записей и передает их в систему обработки и хранения данных, поэтому журналы не требуется выгружать вручную.

Приложение поддерживает текстовые и структурированные журналы, включая JSON и CSV, а также может объединять многострочные записи в одно событие. Filebeat обычно используется для сбора журналов операционной системы и приложений.

Metricbeat

Metricbeat собирает системные метрики и показатели работы приложений. С его помощью можно получать сведения о загрузке процессора, использовании памяти, дисков и сети, а также о запущенных процессах и состоянии служб.

Собранные данные применяются для контроля состояния инфраструктуры и анализа производительности узлов. Состав метрик определяется включенными модулями и наборами метрик (metricsets).

Winlogbeat

Winlogbeat предназначен для сбора событий из журналов Windows. Он позволяет передавать системные ошибки, предупреждения, события входа в систему и другие сведения, необходимые для наблюдения за работой и безопасностью узла.

В конфигурации можно указать стандартные каналы Application, System и Security, служебные и пользовательские журналы, а также перенаправленные с других узлов события ForwardedEvents.

Heartbeat

Heartbeat выполняет регулярные проверки доступности сетевых узлов и сервисов по протоколам ICMP, TCP и HTTP. Результаты содержат сведения о состоянии сервиса и времени отклика, что позволяет обнаруживать недоступность или замедление контролируемых ресурсов.

Auditbeat

Auditbeat собирает информацию о действиях пользователей, системных событиях и изменениях в файловой системе. Приложение позволяет отслеживать запуск процессов, доступ к файлам и изменение их атрибутов, а также контролировать целостность выбранных файлов и каталогов.

В Linux Auditbeat может интегрироваться с Linux Audit Framework и получать события аудита на уровне ядра. Фильтры позволяют ограничить сбор нужными типами событий, пользователями и путями файлов.

Packetbeat

Packetbeat собирает и анализирует сетевой трафик на уровне поддерживаемых прикладных протоколов, преобразуя пакеты в события. Приложение группирует связанные запросы и ответы в транзакции и фиксирует время отклика, объем переданных данных и коды ответов.

Эти сведения можно использовать для анализа взаимодействия между сервисами, поиска задержек и выявления сетевых аномалий.

Конфигурация Elastic Beats

Дистрибутивы и конфигурации Elastic Beats загружаются в Smart Beat Manager и назначаются отдельным агентам или группам. Smart Beat получает назначение, устанавливает соответствующий Beat и запускает его с заданной конфигурацией.

Конфигурация состоит из параметров вида key: value. В зависимости от типа Beat в ней задаются источники данных и интервалы опроса, подключаемые модули, фильтрация и обработка событий, а также получатель собранных данных. Например, для Filebeat указываются пути к файлам журналов, а для Metricbeat — модули и наборы собираемых метрик.

Подробная информация приведена в статье Настройка типовых приложений сбора данных.