Чтобы определить пользу от внедрения ИИ - субъективного мнения команды будет недостаточно, а значит, что пора собирать и сопоставлять метрики.

Убедимся, что подготовительные этапы выполнены: 1. Развёрнуты необходимые сервисы: OTel, Prometheus, Loki и Grafana (см. Часть 1: https://setka.ru/posts/019ee63b-9d8a-7b53-bce0-c97edfcef08f). Если возникли сложности, воспользуйтесь моим репозиторием с конфигами и инструкциями: https://github.com/junkym0nk3y/claude-metrics-kit

2. В Claude Team добавлен общий конфиг аналитики:  Organization settings → Claude Code → Managed settings → settings.json (см. Часть 2: https://setka.ru/posts/019ee63d-6611-7cd3-8cdb-e128ad130460).

3. Проверяем наш OTel: Grafana → Explore → Prometheus.  В Metrics browser вводим claude_code. Если в списке появились метрики, значит коллектор работает.

Теперь необходимо подготовить Dashboard.  Предлагаю следующие варианты: а) Можно собрать самостоятельно, используя пример Anthropic (https://github.com/anthropics/claude-code-monitoring-guide) и описание доступных метрик (https://code.claude.com/docs/en/monitoring-usage) б) Используйте мой шаблон: https://github.com/junkym0nk3y/claude-metrics-kit/blob/main/monitoring/grafana/dashboards/claude-code.json в) Попросите Claude Code сгенерировать JSON по вашим требованиям.

Импортируем результат в Grafana: Home → Dashboards → New → Import.

На какие показатели стоит обратить внимание: * Активное время (active_time_seconds_total | type: user/cli)) Показывает, сколько разработчиков используют Claude Code в realtime и как долго длятся сессии. Полезно на этапе адаптации команды. * Потребление токенов (token_usage_tokens_total | input, output, cacheRead, cacheCreation) Позволяет анализировать динамику по дням, пользователям и моделям. * Lines of Code (lines_of_code_count_total | type: added/removed) Количество строк, добавленных или удалённых с помощью модели. * Accept rate (code_edit_tool_decision_total | decision: accept/reject) Доля изменений, принятых или отклонённых разработчиками. Насколько часто результат модели используется командой.

Пара советов вдогонку. Вам необходимо сопоставлять эти показатели с инженерными и продуктовыми метриками: lead time, cycle time, количеством завершённых задач, скоростью прохождения PR, временем code review, числом дефектов и rollback. Стройте доказательную базу влияния ИИ - сравнивая периоды до и после внедрения, находите нужные корреляции.

Если этих данных мало Prometheus предоставляет лишь агрегацию числовых показателей. Для более глубокого анализа взаимодействия команды с LLM - можно использовать события и логи из Loki.

Какие данные можно получить: - Список MCP подключений - Топ-лист Skills по числу активаций - Размер контекста по сессиям - Список доступов, предоставленных модели  - Кто и при каких условиях достигает лимитов сессии - Полный детальный лог событий и промптов

Нужен ли такой уровень контроля, каждая компания решает самостоятельно. В период адаптации сбор этих данных будет излишним, но в рамках дальнейшего развития, они могут оказаться весьма полезными.

А нам этом всё и до новых встреч.