dedup
Описание
Оставляет только уникальные записи в результатах по заданным полям.
Синтаксис
| dedup [<int>] <field-list> [sortby <sort-by-clause>]
Обязательные аргументы
| Параметр | Синтаксис | Описание |
|---|---|---|
<field-list> | <field> [, <field>] | Список полей, по которым должна происходить дедупликация. |
Опциональные аргументы
| Параметр | Синтаксис | По умолчанию | Описание |
|---|---|---|---|
maxnum | <int> | Без ограничений. | Максимальное количество комбинаций для дедупликации. |
[sortby <sort-by-clause>] | sortby <global-sort-options> (-|+)<sort-field> [(-|+)<sort-field> ...] | Уточняющее описание сортировки. |
Опции сортировки
| Параметр | Синтаксис | По умолчанию | Описание |
|---|---|---|---|
<global-sort-options> | +|- | + | Сортировка + по возрастанию, - по убыванию. |
<sort-field> | <field> | auto(<field>) | str(<field>) | ip(<field>) | num(<field>) | Описание типа сортировки. |
Типы сортировки
| Параметр | Синтаксис | Описание | Замечания |
|---|---|---|---|
<field> | <field> | Имя поля для сортировки. | |
<auto> | auto(<field>) | Автоматически определяет каким образом выполнять сортировку. | |
ip | ip(<field>) | Выполняет сортировку для IP-адресов. | |
num | num(<field>) | Выполняет сортировку поля как цифры. | Если поле не содержит цифровое значение, система вернет ошибку. |
str | str(<field>) | Выполняет сортировку поля как текстовое. | Если поле содержит другой тип данных (цифры, даты, boolean-значение), то значения полей будут приведены к тексту. |
к сведению
Характер сортировки зависит от типа данных (текст — алфавитный порядок, цифры — возрастание/убывание, даты — раньше/позже и т.д.).
Примеры запросов
Пример №1
source radius_logs
| dedup event
Пример №2
source radius_logs
| dedup 3 event
Пример №3
source radius_logs
| dedup event sortby - event +@timestamp
Пример №4
source radius_logs
| dedup event sortby num(event)