Выбрали хорошую метрику, чуть подшаманили с выбросами и сегментами, пришло время рассказать CEO о том, как вы хороши и какую премию заслуживаете на ревью.

Как же нужно правильно доносить информацию

🧢 На вопросы про методологию подсчета с умным видом отвечаем: «методология уточняется»

🧢 Если метрикам на дэше плохо, а вы презентуете выполненный KPI нужно включить чит код: «ETL задержался, скрипты пересчитываются, рано паниковать»

🧢 Показываем heat-map без шкалы – цветом можно «докрасить» любой тренд до бордового. Держите:

🧢 Если спрашивают про доверительный интервал, киваем головой и уверенно говорим: «Это CUPED, убираем интеркорреляцию, поэтому N меньше»

🧢 Графики показываем с Y-осью не от 0% до 100, а например, от 60% до 65%, чтобы график был похож на взлет метрик

Хух, вроде все собрал, если что-то забыл – пишите в комментариях

А теперь как все-таки делать правильно:

📊 Pre-registration: фиксируем метрику и план расчета до сбора данных и до старта квартала

📊 Guardrails: коммитимся в цели так, чтобы вторичные метрики (отток, выручка и тд) не падали, детально их прописываем заранее

📊 Проверяем эффект на замороженных пользователях, которым мы не показываем никаких изменений по всем экспериментам, пример от ЦИАН, так мы увидим чистый результат работы команды

📊 Не останавливаем эксперимент, если метрика прокрасилась до окончания экспа, это база

📊 CUPED / Causal ML – снижаем дисперсию без обмана, например, если использовать данные пользователей для CUPED, и на них же был другой аб с той же солью, то вы увидите адское смещение результатов(

📍 Будьте внимательны и не совершайте ошибок, ведь там, где вы учились правилам черной магии данных – ваш CEO преподавал