Вы когда-нибудь видели ситуацию, где метрика улучшается в каждой группе пользователей, но в целом ухудшается? Это парадокс Симпсона — статистический феномен, который может ввести в заблуждение даже опытных аналитиков.

Допустим, мы тестируем новую рекомендательную систему. Разделяем пользователей на две группы:  - Новые (слабая вовлечённость)  - Постоянные (высокая вовлечённость) 

В каждой группе допустим  конверсия выросла, но если посмотреть общий результат, окажется, что в тесте она упала! Почему? Потому что в тестовой версии было больше новых пользователей с изначально низкой конверсией. 

Как избежать ошибки? - Всегда смотрите на данные в разрезе ключевых сегментов.  - Используйте стратифицированный анализ (например, через CUPED или взвешивание).  - Проверяйте баланс групп перед запуском теста. 

Парадокс Симпсона напоминает: агрегированные данные могут лгать. Будьте внимательны! 

#ПродуктоваяАналитика #DataScience #ABTesting #ПарадоксСимпсона