Перейти к основному содержимому
Версия: 3.2

hdhsource

Описание

Позволяет получить данные Hadoop Hive.

Замечание: Для работы источника hdhsource необходим настроенный SM Hadoop Proxy коннектор.

Синтаксис

hdhsource <db_name.table_name> [qsize=<int>]

Обязательные аргументы

  • db_name.table_name

Опциональные аргументы

  • qsize — максимальное количество выбираемых данных

Конфигурация источника

Все настройки источника хранятся в settings.yml

sme:
dbs:
hadoop_hive:
connector_url: 'http://localhost'
connector_port: 18081
hadoop_hive_connection_sting: 'jdbc:hive2://127.0.0.1:10000'
hadoop_hive_user: ''
hadoop_hive_password: ''

Описание параметров конфигурации

  • connector_url — url SM Hadoop Proxy коннектора
  • connector_port — порт SM Hadoop Proxy коннектора
  • hadoop_hive_connection_string — строка подключения к Hadoop Hive
  • hadoop_hive_user — пользователь Hadoop Hive
  • hadoop_hive_password — пароль пользователя Hadoop Hive

Примеры запросов

Пример 1:

hdhsource 'hr.employee_list'
| search status="Уволен"
| fields user_name

Пример 2:

hdhsource accessLogs
| search [ hdhsource 'hr.employee_list' | search status="Уволен" | fields user_name | format ]