Если в калькуляторе выборки вы пишете «хочу увидеть +1%», это не расчёт — это заказ на дорогую иллюзию.
Типичный сценарий: команда ждёт быстрый A/B, а аналитик «не может посчитать выборку» или тест внезапно тянется неделями. В итоге либо закрывают эксперимент без вывода, либо принимают решение по шуму. Цена одна: продукт учится на случайности, а не на данных.
Почему так происходит: в расчёте выборки вы задаёте не «насколько мне хотелось бы улучшить метрику», а условия, при которых вы готовы принимать решение. MDE, power и уровень значимости — это про риск ошибки и стоимость измерения. Чем меньше эффект вы хотите отличить от шума, тем больше пользователей нужно. «Маленький эффект» почти всегда означает «дорогое измерение»: больше трафика, больше времени, больше шансов, что параллельные изменения и сезонность всё испортят.
Минимальный стандарт, чтобы не самообмануться:
- MDE формулируется от решения, а не от амбиций. Это порог, при котором вы реально будете выкатывать или откатывать, учитывая маржу, риски и стоимость разработки.
- Переведите MDE в единицы метрики так, как вы будете считать эффект в отчёте. Если отчёт про относительный uplift, не считайте выборку под абсолютную разницу, и наоборот.
- Power — это про вероятность увидеть эффект, если он правда есть. Хотите «не пропускать» важные улучшения — платите выборкой и временем. Хотите быстро — признаёте, что мелкие эффекты пройдут мимо.
- Базовый уровень и дисперсия важнее, чем кажется. Без честной оценки текущей конверсии, ARPU, разброса по пользователям расчёт превращается в гадание.
- Не смешивайте «посмотрим пораньше» с классическим расчётом. Если планируете подглядывать и останавливать по ходу, используйте подходящую схему остановки, иначе статистика расползётся.
Правильная практика выглядит так: сначала фиксируем решение и порог полезности, потом выбираем метрику и способ агрегации, оцениваем базу и шум, и только затем считаем выборку и срок. Обычно спорят про «давайте поставим MDE поменьше, вдруг повезёт» — но в реальности это просто перенос оплаты в трафик, время и разочарование. Граница применимости простая: если вам нужен сигнал про очень малый эффект, готовьтесь либо к долгому тесту, либо к снижению шума (дизайн эксперимента и качество данных), третьего почти не бывает.
