Перейти к основному содержимому
Версия: 3.2

hdhsource

Описание​

Позволяет получить данные Hadoop Hive.

Замечание: Для работы источника hdhsource необходим настроенный SM Hadoop Proxy коннектор.

Синтаксис​

hdhsource <db_name.table_name> [qsize=<int>]

Обязательные аргументы​

  • db_name.table_name

Опциональные аргументы​

  • qsize — максимальное количество выбираемых данных

Конфигурация источника

Все настройки источника хранятся в settings.yml

sme:
  dbs:
    hadoop_hive:
      connector_url: 'http://localhost'
      connector_port: 18081
      hadoop_hive_connection_sting: 'jdbc:hive2://127.0.0.1:10000'
      hadoop_hive_user: ''
      hadoop_hive_password: ''

Описание параметров конфигурации​

  • connector_url — url SM Hadoop Proxy коннектора
  • connector_port — порт SM Hadoop Proxy коннектора
  • hadoop_hive_connection_string — строка подключения к Hadoop Hive
  • hadoop_hive_user — пользователь Hadoop Hive
  • hadoop_hive_password — пароль пользователя Hadoop Hive

Примеры запросов​

Пример 1:

hdhsource 'hr.employee_list'
| search status="Уволен"
| fields user_name

Пример 2:

hdhsource accessLogs
| search [ hdhsource 'hr.employee_list' | search status="Уволен" | fields user_name | format ]