🔎🔎🔎 A/A тесты. Что это такое? Зачем их нужно проводить? Часть-2: #ab_testing

✅ Плюсы A/A тестов :     ▪️  1. Позволяют определить надежность / точность / корректность работы сплит-машины или A/B платформы.     ▪️  2. Позволяют определить доверительный интервал целевой метрики. С помощью проведения ряда A/A тестов можно эмпирическим путем определить доверительный интервал целевой метрики, в рамках которого изменения могут быть признанными случайными или статистически незначимыми.     ▪️  3. Позволяют определить базовое значения целевой метрики контрольной группы. A/A тесты помогают определить базовое значение целевой метрик контрольной группы, которое потом можно будет использовать для расчета оптимального размера выборки A/B теста, а именно для расчета потенциального uplift, MDE целевой метрики.     ▪️ 4. Позволяют определить минимальный объем выборки и время проведения A/B теста. Путем проведения A/A тестов можно получить представление о минимальном размере выборки и времени проведения теста, а именно когда результаты A/A тестов выравниваются и стабилизируются.

⛔️ Минусы A/A тестов :     🔻 1. Затратны во времени. Проведение A/A тестов требует времени, поэтому они могут замедлить или отложить выпуск важной продуктовой фичи или функционала в production, что в итоге может стоить компании зря потраченного времени и упущенной выгоды.     🔻 2. Ошибка теста и элемент случайности. A/A тест, как и любой эксперимент, имеет определенную степень достоверности. Из-за этого время от времени на практики приходиться перезапускать A/A тест, если наблюдается существенная разница между результатами двух групп.     🔻 3. Технические проблемы сплит-машины или A/B платформы. Если A/A тесты несколько раз подряд, стабильно показывают существенную разницу в результатах, то есть статистически значимый результат, то возможно существует проблема в настройках сплит-машины или самой A/B платформы, через которые запускаются тесты, или допущены ошибки в рамках проведения самого эксперимента.