Перейти к основному содержимому
Версия: 5.0

Проверка input и output плагинов Logstash

Проверка input плагинов Logstash​

Input плагины Logstash собирают данные из различных источников, таких как файлы, базы данных, очереди (Kafka, RabbitMQ) и сетевые протоколы (Beats, Syslog), обеспечивая бесперебойный поток данных для их обработки и передачи в целевые системы, например, SM Data Collector.

1. Проверка активных pipeline

cat ${LOGSTASH_HOME}/config/pipeline.yml

2. Найдите секцию input

Определите, какие input плагины используют SSL/TLS.

3. Проверьте, что указаны параметры SSL/TLS

При использовании защищенного соединения должны быть заданы:

  • ssl_certificate_authorities — путь CA сертификата или truststore

  • ssl_truststore_path — путь к truststore (если используется JKS)

  • ssl_truststore_password — пароль для truststore (если используется JKS)

  • ssl_verify_mode — режим проверки сертификатов (например, peer для проверки сертификата сервера)

4. Пример настройки для Beats

input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate_authorities => ["/path/to/ca-cert.pem"]
  }
}

5. Пример настройки для Kafka:

input {
  kafka {
    bootstrap_servers => "kafka-server:9092"
    topics => ["logs"]
    ssl_truststore_location => "/path/to/truststore.jks"
    ssl_truststore_password => "password"
  }
}

6. Проверка добавления цепочки сертификатов

7. Проверка добавления цепочки сертификатов в truststore

Проверка output плагинов Logstash​

Output плагины в Logstash отвечают за передачу данных в целевые системы, такие как SM Data Storage. Важно убедиться, что данные передаются корректно, а настройки SSL/TLS заданы правильно и не вызывают ошибок.

1. Просмотр активных pipeline

Для просмотра текущих конфигураций выполните команду:

cat ${LOGSTASH_HOME}/config/pipeline.yml

2. Найдите секцию output

Определите, какие output плагины используют SSL/TLS.

3. Проверка параметров output при использовании cacert

Если в pipeline выполняется запись в SM Data Storage, проверьте секцию output на использование SSL и CA-сертификата.

Пример:

output {
  opensearch {
            hosts => ["https://<OS_HOSTS>:9200"]
            index => "<INDEX_NAME>"
            user => "logstash"
            password => "${ES_PWD}"
            ssl => true
            cacert => "${LOGSTASH_HOME}/config/ca-cert.pem"
            ecs_compatibility => v8
        }
}
примечание

4. Проверка параметров output при использовании truststore

Если pipeline использует truststore, убедитесь, что настройки заданы правильно.

Пример:

output {
  opensearch {
            hosts => ["https://<OS_HOSTS>:9200"]
            index => "<INDEX_NAME>"
            user => "logstash"
            password => "${ES_PWD}"
            ssl => true
            truststore => "${LOGSTASH_HOME}/config/cacerts.jks"
            ecs_compatibility => v8
        }
}
примечание