✏️✏️✏️ Базовые понятия статистики для A/B тестов. Часть-1: #statistics #ab_testing

▶️ 1. Ошибка первого рода – это вероятность отклонить нулевую гипотезу (HO), если на самом деле она верна. То есть вероятность задетектировать эффект, если его на самом деле нет.     ▶️ 2. Ошибка второго рода – это вероятность принять нулевую гипотезу (HO), если на самом деле она не верна. То есть вероятность не задетектировать эффект, если он на самом деле есть.     ▶️ 3. Уровень значимости (α) – это вероятность обнаружить разницу между результатами статистического теста, если её на самом деле нет или она случайна. Уровень значимости (α) статистического теста это допустимая для него вероятность ошибки первого рода.     ▶️ 4. Мощность критерия (1-β) – это вероятность обнаружить разницу между результатами статистического теста, если она действительно есть и она истинна. Мощность критерия измеряет способность критерия выявить истинные различия между результатами.     ▶️ 5. Статистическая достоверность (1-α) – это вероятность того, что разница между результатами, полученные в рамках статистического теста, достоверна и не случайна, то есть детектируемый эффект является достоверным и не случайным.     ▶️ 6.1. P-value – это вероятность получить наблюдаемую в эксперименте или большую разницу между группами.     ▶️ 6.2. P-value – это вероятность того, что разница между результатами статистического теста случайна.     ▶️ 6.3. P-value – это наименьшее значение уровня значимости (α), при которой нулевая гипотеза (HO) отвергается для данного значения статистики критерия (t).