Источники данных
Модуль AI Observability собирает телеметрию AI-контура из нескольких источников и нормализует ее в единый набор runtime-индексов gen_ai_* на основе модели данных OpenTelemetry GenAI.
Нормализованные данные используются дашбордами, инвентаризацией и глобальными метриками МАЯК.
Подключенные источники
| Источник | Тип | Маршрут сбора | Что собирается | Куда попадает |
|---|---|---|---|---|
| DCGM Exporter /metrics | GPU | Smart Beat Scriptbeat - Logstash | GPU util, память, температура, ECC, XID ошибки, потребление энергии | gen_ai_gpu_metrics |
| vLLM/metrics | Inference runtime | Smart Beat Scriptbeat - Logstash | Queue depth, latency, KV cache, prefix cache | gen_ai_metrics |
Claude Code (.claude/projects) | Локальный клиент | Smart Beat Filebeat - Logstash | Запросы, ответы, токены, события сессии | gen_ai_events |
Claude Desktop (Library/Logs/Claude) | Локальный клиент | Smart Beat Filebeat - Logstash | События и ошибки приложения Claude Desktop (macOS) | gen_ai_events |
Codex (.codex/sessions) | Локальный клиент | Smart Beat Filebeat - Logstash | Запросы, ответы, токены, TTFT, reasoning, кэш | gen_ai_events, gen_ai_cost |
| LiteLLM_SpendLogs PostgreSQL | LLM-шлюз | Logstash JDBC | Токены, стоимость, провайдер, модель, длительность | gen_ai_cost, gen_ai_events |
| AI-агенты OTLP traces | AI-агент | OTLP-домен | Шаги агента, tool calls, spans, ошибки | gen_ai_traces |
| AI-агенты OTLP logs | AI-агент | OTLP-домен | Вопросы, ответы, диагностика | gen_ai_events |
| AI-агенты OTLP metrics | AI-агент | OTLP-домен | Request rate, error rate, custom latency | gen_ai_metrics |
| LiteLLM OTLP callback | LLM-шлюз | OTLP-домен | Трассировки запросов, латентность, маршрутизация | gen_ai_traces |
Индексная модель
В модуле используется единый runtime-набор индексов с wildcard-паттернами:
| Индекс | Time field | Источники | Назначение |
|---|---|---|---|
gen_ai_events* | @timestamp | LiteLLM, AI-агенты, Claude Code, Codex | Запросы к LLM, события агентов и локальных клиентов, ответы, ошибки |
gen_ai_traces* | startTime | LiteLLM OTel, AI-агенты | Трассировки и spans AI-запросов и шагов агента |
gen_ai_metrics* | @timestamp | vLLM, AI-агенты | Метрики производительности inference-сервисов и агентов |
gen_ai_cost* | @timestamp | LiteLLM SpendLogs, Codex | Расходы и usage по моделям, провайдерам, командам |
gen_ai_gpu_metrics* | @timestamp | DCGM Exporter | Аппаратные метрики GPU: загрузка, память, температура, ошибки |
Примечания
- ISM-политики управляют жизненным циклом индексов (rollover, retention) и поставляются в составе контентного модуля
- Конфигурации Smart Monitor Data Collector, Smart Beat, и otlp_collector поставляются в составе конфигураций сбора данных