Проверь свои метрики на адекватность

1. Метрика действительно может оценить эффект от изменения? Обычно эта проблема возникает когда вместо метрик связанных с бизнес-целями хотят смотреть на прокси-метрики,у которых нет особой связи с бизнес-целями.

Оцениваем увеличился ли CTR от внедрения нового баннера, но можем ли на основе CTR понять принесет ли это ценность бизнесу и клиентам?

2. Как выбросы влияют на метрику? На мой взгляд главная проблема выбросов, что они раздувают дисперсию и следовательно стандартную ошибку, что требует больших выборок для фиксации стат значимых отличий. Подумайте, что делать с выбросами или возможность перейти на какую-то другую метрику

3. Проверьте правильно ли вы работаете с ratio метриками Частая проблема когда к ratio метрикам пытаются применить t-test, что обычно приводит к завышенной доле ошибок 1 рода. Проведите симуляции АА тестов на исторических данных с вашими метриками и стат критерием, чтобы проверить что вы контролируете ошибку 1 рода на уровне альфы.

4. Каннибализация метрик Может вы подняли конверсию на одной странице сайта, но каннибализировали конверсии на других страницах. Другой пример, одна команда растит метрику "конверсия в кредиты наличными", а другая "конверсия в кредитные карты", оба продукта могут перетягивать друг у друга часть конверсий.

5. Единый стандарт расчета метрик Действительно ли все в компании одинаково считаю метрику. Может быть, что каждый человек по своему считает метрику. Например кто-то удаляет выбросы, а кто-то нет. Кто-то считает конверсию по пользователям, а кто-то по сессиям. Разный расчет метрик ведет к разным результатам АБ тестов.

Пишите в комменты, чем бы вы дополнили этот список