AI Observability: Расходы LLM

Дашборд AI Observability: Расходы LLM предназначен для контроля потребления и стоимости LLM-запросов.
Он помогает понять, сколько токенов и ресурсов потребляется, какие модели и провайдеры наиболее дорогостоящие, и выявить аномальный рост расходов.

Кому полезен: инженеру эксплуатации, менеджеру AI-команды, финансовому аналитику.

Источник данных: gen_ai_cost*

---

Основные разделы

1. Провайдеры и модели

Показывает сводную таблицу по LLM-провайдерам и моделям, которые использовались за выбранный период:

• количество запросов по моделям
• средняя длительность выполнения запросов
• стоимость использования моделей
• сравнение затрат между провайдерами и моделями

2. Сводка токенов и стоимости

Показывает ключевые показатели потребления LLM и динамику расходов во времени:

• общий расход токенов
• входные и выходные токены
• стоимость 1M токенов
• общая стоимость использования моделей
• динамика токенов, запросов и стоимости по времени

3. Распределение расходов

Показывает, какие модели и пользователи формируют основной расход токенов и стоимости:

• расход токенов и стоимость по моделям
• расход токенов и стоимость по пользователям
• сравнение моделей по объему потребления и затратам
• выявление наиболее затратных моделей и пользователей

4. Самые дорогие запросы

Показывает LLM-запросы с наибольшей стоимостью за выбранный период:

• время выполнения запроса
• идентификатор запроса и пользователь
• провайдер и модель
• входные, выходные и суммарные токены
• длительность и стоимость запроса