Помню когда только начал погружаться в статистику и АБ тесты от обилия стат критериев голова шла кругом и было непонятно, а какой стат критерий использовать - это все вгоняло в тоску. На практике все оказалось проще.

Прелесть АБ тестов в том, что обычно мы имеем достаточно большие выборки на тысячи, десятки тысяч и сотни тысяч пользователей.

На таких цифрах относительно хорошо работает ЦПТ и выполняется предположение, что выборочные средние сходятся к нормальному распределению, что в большинстве случаев позволяет нам использовать классические критерии. Ниже про те критерии, которые использую я.

• z test для пропорций - для метрик с конверсией
• t-test, а точнее t-критерий Уэлча - для непрерывных и дискретных величин, типа деньги, число действий, время и прочее.
• хи2 - для оценки дисбаланса выборок
• bootstrap - для нестандартных ситуаций или когда не знаешь что делать
• дополнительно: дельта-метод или линеаризация - если надо поработать с метриками отношения.

А какие стат критерии используете вы?