Перейти к основному содержимому
Версия: 6.1

AI Observability: Обзор инфраструктуры

Дашборд AI Observability: Обзор инфраструктуры дает единую операционную картину состояния AI-контура.
Он предназначен для быстрой проверки того, что все компоненты живы, данные поступают и нет аномалий в активности.

Кому полезен: инженеру эксплуатации, дежурному, руководителю AI-команды.

Источники данных: gen_ai_events*,gen_ai_metrics*, gen_ai_gpu_metrics*, gen_ai_cost*, gen_ai_traces*

Основные разделы​

1. Ключевые параметры​

Показывает сводку и графики по ключевым параметрам:

  • количество подключенных LLM-моделей, их суммарный расход токенов и средств
  • количество GPU
  • распределение токенов и стоимости моделей

Ключевые параметры

2. LLM-модели и AI-сервисы​

Показывает информацию по используемым LLM-моделям и AI-сервисам, через которые выполняются запросы и поступает телеметрия:

  • количество запросов, трейсов и событий
  • расход входных и выходных токенов
  • средняя длительность выполнения запросов
  • стоимость использования моделей
  • график динамики запросов и событий по AI-сервисам

LLM-модели и AI-сервисы

3. GPU и события AI-сервисов​

Показывает состояние GPU-устройств и распределение событий, поступающих от AI-сервисов:

  • загрузка, температура и потребление GPU
  • использование видеопамяти
  • распределение событий по типам
  • активность инструментов и внутренних операций AI-сервисов

GPU и события AI-сервисов

4. Запросы моделей и результаты агентов​

Показывает динамику запросов к LLM-моделям и результаты выполнения агентских операций:

  • количество запросов к моделям во времени
  • средняя длительность выполнения запросов
  • соотношение успешных и ошибочных запросов

Запросы моделей и результаты агентов

5. Покрытие сервисов доменами данных​

Показывает, какие типы телеметрии поступают от AI-сервисов:

  • покрытие сервисов метриками, трассировками, событиями и расходами
  • полнота поступающей телеметрии по сервисам

Покрытие сервисов доменами данных

Переходы к другим дашбордам​

С дашборда AI Observability: Обзор инфраструктуры доступны прямые переходы в специализированные дашборды:

ПанельКуда ведет
Таблица LLM: провайдеры и моделиAI Observability: Расходы LLM
Таблица Сводка AI-сервисовAI Observability: Трассировки
Таблица GPU: состояние устройствAI Observability: Состояние GPU