Когда дашборд врёт на 30% 😵💫
Был конец года. Аппарат ждал цифры, а у нас — ни методологии, ни источников данных.
Наши OKR выглядели красиво на слайдах: "улучшаем пользовательский опыт", "растим вовлечённость", "повышаем удовлетворённость". Но как только вставал вопрос "а НА СКОЛЬКО?" — повисала тишина.
Я решила начать с простого: посчитать количество активных пользователей за квартал. Открыла BI — а там пусто. Нет даже понимания, кого считать активным.
Попыталась посчитать количество проведённых собраний и опросов. Открыла дашборд — а там цифры, которые не сходятся с отчётом функционального заказчика. На 30%.
Тридцать! Процентов!
Я пошла к дата-инженерам:
— Ребят, а где у нас база активных пользователей за последний квартал?
Они посмотрели на меня, как на сумасшедшую:
— А что такое "активный"? Это тот, кто зашёл в приложение? Или тот, кто оплатил квитанцию? Или тот, кто просто скачал ЕПД? Или прочитал новости?
Мы даже не договорились, что считать.
Побежала со вторым вопросом — откуда берутся цифры в дашборде.
Дата-инженер пожал плечами:
— Не помню. Кажется, это из старой выгрузки. А может, из нового источника. Надо посмотреть в коде. Мы не знали, откуда берутся наши же цифры. И я завела отдельную тетрадь, на этот раз — по метрикам и OKR.
Мы прописали всё ⬇️
🟠Какие дашборды у нас существуют; 🟠Откуда берутся данные для каждой метрики; 🟠Как часто обновляются отчёты; 🟠Формула расчёта каждой метрики (чтобы все считали одинаково); 🟠Кто ответственный за каждый отчёт; 🟠Что делать, если цифры не сошлись (спойлер: идти к дата-инженерам с конфетами — это универсальная валюта).
Данные — это не только про код. Это про людей, которые эти данные дают.
Можно настроить идеальную BI, нарисовать красивые дашборды, собрать все формулы. Но если команда не договорилась, что считать "активным пользователем"; если дата-инженер не помнит, откуда берутся цифры, — всё это будет врать.
Договорённости важнее дашбордов. Определения важнее цифр. И пока вы не сели и не прописали, что значит "активный", "вовлечённый", "удовлетворённый", — любые метрики будут бессмысленны.
Потому что метрика начинается не с графика. Она начинается с методологии.