AI Observability: Метрики сервисов
Дашборд AI Observability: Метрики сервисов предназначен для наблюдения за производительностью AI-сервисов на уровне runtime-метрик.
Он позволяет отслеживать загрузку inference-сервиса, состояние очереди запросов, латентность и кэш, чтобы своевременно выявлять деградацию производительности.
Кому полезен: инженеру ML-инфраструктуры, инженеру эксплуатации, DevOps.
Источник данных: gen_ai_metrics*
Основные разделы
1. Сводка и распределение метрик
Показывает общую картину поступления runtime-метрик по AI-сервисам:
- количество сервисов и уникальных метрик
- общее число поступивших метрик и EPS
- распределение метрик по сервисам
- матрица покрытия сервисов метриками
2. Поток, каталог и значения метрик
Показывает динамику поступления метрик, их каталог и значения выбранной метрики:
- поток метрик по сервисам во времени
- динамика отдельных метрик
- каталог доступных метрик с типом и последним значением
- drilldown из каталога к значениям выбранной метрики
- график значений выбранной метрики за период
При выборе метрики в каталоге открывается детальная панель со значениями выбранной метрики за указанный период.
