Юрий Борзило
Продуктовый аналитик · 21.09
Да как разобраться в этих стат критериях?🤯
Помню когда только начал погружаться в статистику и АБ тесты от обилия стат критериев голова шла кругом и было непонятно, а какой стат критерий использовать - это все вгоняло в тоску. На практике все оказалось проще.
Прелесть АБ тестов в том, что обычно мы имеем достаточно большие выборки на тысячи, десятки тысяч и сотни тысяч пользователей.
На таких цифрах относительно хорошо работает ЦПТ и выполняется предположение, что выборочные средние сходятся к нормальному распределению, что в большинстве случаев позволяет нам использовать классические критерии. Ниже про те критерии, которые использую я.
- z test для пропорций - для метрик с конверсией
- t-test, а точнее t-критерий Уэлча - для непрерывных и дискретных величин, типа деньги, число действий, время и прочее.
- хи2 - для оценки дисбаланса выборок
- bootstrap - для нестандартных ситуаций или когда не знаешь что делать
- дополнительно: дельта-метод или линеаризация - если надо поработать с метриками отношения.
А какие стат критерии используете вы?
еще контент автора
еще контент автора
Юрий Борзило
Продуктовый аналитик · 21.09
войдите, чтобы увидеть
и подписаться на интересных профи