Установка модуля

Предварительные требования

Требуется наличие следующих файлов для установки:

• Архив kafkasm-installer-1.0.tar.gz с файлами модуля kafkasm, содержащий:
  • скрипт установки для OpenSearch
  • скрипт установки для OpenSearch Dashboards
  • скрипт установки для интерфейса SmartMonitor
  • скрипт установки для Logstash

Процесс установки

Распаковать архив в папку по выбору.

OpenSearch

Для установки части модуля для серверов OpenSearch с ролью data, необходимо запустить скрипт в папке data командой:

sudo bash install.sh

Перед началом установки следует предоставить следующие параметры:

• OpenSearch home directory - адрес корневой директории OpenSearch. Значение по умолчанию: /app/opensearch
• KafkaSM license key - специальный ключ доступа к модулю. Обязателен к наличию и заполнению. Предоставляется вендором. Без него OpenSearch после установки модуля не запустится. Значения по умолчанию не имеет
• All Kafka brokers - список брокеров Apache Kafka. Вписываются в формате ip:port через запятую без пробелов. Значения по умолчанию не имеет

Каждый параметр после ввода необходимо подтвердить нажатием y и Enter. При нажатии n можно будет ввести параметр повторно.

После установки значения лицензионного ключа и списка брокеров можно изменить в файле {корневая_директория_opensearch}/config/nn2/kafka_plugin.yml.

Во время установки потребуется дополнительное подтверждение. Для этого следует нажать y и затем Enter.

OpenSearch Dashboards

Для установки части модуля на сервере с opensearch-dashboards, необходимо запустить скрипт в папке web командой:

bash install.sh

Перед началом установки следует предоставить следующие параметры:

• Opensearch-dashboards home directory - адрес корневой директории opensearch-dashboards. Значение по умолчанию: /app/opensearch-dashboards

Во время установки потребуется дополнительное подтверждение. Для этого следует нажать y и затем Enter.

Logstash

Для установки части модуля на сервере с Logstash, необходимо запустить скрипт в папке logstash/kraft или logstash/zookeeper (в зависимости от типа используемого кластера Apache Kafka) командой:

sudo bash install.sh

Перед началом установки следует предоставить:

Следующие параметры для файлов вывода:

• Hosts - IP-адреса машин, на которых установлен OpenSearch. Значения по умолчанию нет
• User - пользователь для авторизации в OpenSearch. Значения по умолчанию нет
• Password - пароль пользователя для авторизации в OpenSearch. Можно передать имя переменной из keystore (y для получения пароля из keystore, n для ввода вручную). Значения по умолчанию нет
• Указать значение включенного SSL - y – для его включения или n - для его выключения
• Указать путь до CA-сертификата. Значения по умолчанию нет

Каждый параметр после ввода необходимо подтвердить нажатием y. При нажатии n можно будет ввести параметр повторно.

Следующие параметры для кластера:

• Logstash home directory - корневая директория Logstash. Значение по умолчанию: /app/logstash
• Logstash pipelines configuration directory - директория c конфигурационными файлами пайплайна. Значение по умолчанию: /app/logstash/config/conf
• All Kafka brokers IP and aliases - список брокеров Apache Kafka. Вводятся в формате ip:alias через запятую без пробелов. Значения по умолчанию нет

Только для кластера на KRaft:

• All Kafka controllers IP and aliases - список контроллеров Apache Kafka. Вводятся в формате ip:alias через запятую без пробелов. Значения по умолчанию нет

Каждый параметр после ввода необходимо подтвердить нажатием y и Enter. При нажатии n можно будет ввести параметр повторно. После установки значения ip и alias можно изменить. Делается это в директории {директория_с_конфигурационными_файлами_пайплайна}/jmx_conf/.

Интерфейс SmartMonitor

Для установки интерфейса модуля для SmartMonitor на сервере с opensearch-dashboards, необходимо запустить скрипт в папке sm-interface командой:

bash install.sh

Перед началом установки следует предоставить следующие параметры:

• User - имя пользователя для авторизации. Значения по умолчанию нет
• Password – пароль для авторизации. Значения по умолчанию нет

Имя пользователя после ввода необходимо подтвердить нажатием y и Enter. При нажатии n можно будет ввести параметр повторно.

После ввода всех корректных параметров и успешном выполнении авторизации скрипт начнет установку. В противном случае произойдет ошибка авторизации и потребуется повторный запуск скрипта.

На четвертом шаге установки требуется задать тип кластера Apache Kafka вводом значения kraft (для кластеров нового типа на KRaft) или zookeeper (для кластеров старого типа на Apache ZooKeeper). Ввод необходимо подтвердить нажатием y и Enter. При нажатии n можно будет ввести параметр повторно. 

Инициализация модуля для серверов Apache Kafka

Открыть файл запуска сервиса Apache Kafka командой:

nano/etc/systemd/system/kafka.service

Добавить следующую строку в файл:

Environment=JMX_PORT=9989

Обновить конфигурацию юнитов для служб и перезапустить сервис командами:

systemctl daemon-reload

systemctl restart kafka

Проверить работоспособность можно командой:

netstat -tunlp

Указанный JMX-порт должен отображаться в таблице.