То победитель обязательно найдется. Вопрос только в том, будет ли он настоящим.

Есть довольно частая ситуация в продуктовой аналитике. Запускаем эксперимент, смотрим основную метрику - эффекта нет. Тогда начинаем смотреть глубже: - а что там по новым пользователям? - а по старым? - а по iOS? - а по Android? - а по платящим? -  а по тем, кто пришёл из конкретного канала? - а если взять только пользователей с 3+ сессиями?

И в какой-то момент что-то обязательно “выстреливает”. Проблема в том, что чем больше разрезов мы проверяем, тем выше шанс случайно найти статистически значимый результат там, где реального эффекта нет. Это называется problem of multiple comparisons. То же самое происходит, когда мы смотрим 10 метрик в надежде, что хотя бы одна покажет рост.

Основная метрика не сдвинулась? Зато выросла глубина просмотра. Или клики по кнопке. Или переходы на второй экран. Или retention в странном сегменте. Или ARPU среди 12 пользователей, которые попали в очень специфичную группу. На этом месте легко начать рассказывать красивую продуктовую историю. Но статистически это может быть не инсайт, а результат перебора.

В образовательных материалах про A/B-тесты часто объясняют поправки на множественные сравнения через несколько групп: например, когда у нас не A/B, а A/B/C/D/E-тест. Это важный кейс. Но в реальной продуктовой работе проблема часто выглядит иначе: у нас один эксперимент, две группы, но после запуска мы начинаем проверять много метрик, много сегментов и много заградительных показателей.

Для меня хорошее правило такое: если метрика или сегмент были важны до запуска эксперимента - это часть дизайна эксперимента. Если они стали важны только после того, как там появился красивый p-value - это уже исследовательский анализ. Он может быть полезным. Он может подсказать следующую гипотезу. Он может помочь понять механику поведения. Тем не менее его нельзя продавать как строго доказанный эффект. Иначе мы начинаем не проверять гипотезы, а искать удачные совпадения.