🔎🔎🔎 A/A тесты. Что это такое? Зачем их нужно проводить? Часть-1: #ab_testing

📖 Определение :     ▪️ A/A тест - это вариант A/B теста, когда обоим группам теста показывается один и тот же вариант продуктовой фичи / сайта или приложения / функционала / инструмента, а не разные и он же сравнивается сам с собой между этими группами.     ▪️ A/A тест - это инструмент для сравнения двух одинаковых вариаций между группами.

❗️P.S. Как правило, в рамках A/A тестирования мы ожидаем, что не должно быть существенной разницы между результатами двух групп. Если она все-таки есть, то это может означать, что что-то пошло не так, но на практике, на самом деле, это не всегда так.

🎯 Основная цель A/A тестов :     ▪️ A/A тесты позволяют определить, можем ли мы доверять результатам теста, который будет запущен при таких же условиях, но уже с разными вариантами продуктовой фичи / функционала / инструмента на сайте или в мобильном приложении.     ▪️ A/A тесты позволяют определить надежность / точность / корректность работы сплит-машины или A/B платформы. Если в рамках A/A теста нет существенной разницы между результатами двух групп, то это говорит о том, что нет существенных блокеров для запуска самого A/B теста. Если существенная разница между результатами двух групп все-таки существует, то это может говорить о том, что стоит проверить настройки сплит машины или самой A/B платформы и однородность исходных выборок, которые формируются с помощью них по заданным правилам.