Перейти к основному содержимому
Версия: 5.3

hdhsource

Описание​

Позволяет получить данные Hadoop Hive.

Замечание: Для работы источника hdhsource необходим настроенный SM Hadoop Proxy коннектор.

Синтаксис​

hdhsource <db_name.table_name> [qsize=<int>]

Обязательные аргументы​

  • db_name.table_name

Опциональные аргументы​

  • qsize — максимальное количество выбираемых данных

Конфигурация источника​

Все настройки источника хранятся в settings.yml.

sme:
  dbs:
    hadoop_hive:
      connector_url: 'http://localhost'
      connector_port: 18081
      hadoop_hive_connection_sting: 'jdbc:hive2://127.0.0.1:10000'
      hadoop_hive_user: ''
      hadoop_hive_password: ''

Описание параметров конфигурации​

  • connector_url — url SM Hadoop Proxy коннектора
  • connector_port — порт SM Hadoop Proxy коннектора
  • hadoop_hive_connection_string — строка подключения к Hadoop Hive
  • hadoop_hive_user — пользователь Hadoop Hive
  • hadoop_hive_password — пароль пользователя Hadoop Hive

Примеры запросов​

Пример 1​

В данном примере hdhsource читает таблицу hr.employee_list, фильтрует записи со статусом Уволен и оставляет поле user_name.

hdhsource 'hr.employee_list'
| search status="Уволен"
| fields user_name

Пример 2​

В данном примере подзапрос к Hadoop Hive формирует список значений для format, который затем используется в поиске по основному источнику accessLogs.

hdhsource accessLogs
| search [ hdhsource 'hr.employee_list' | search status="Уволен" | fields user_name | format ]