Насколько ты готов к секции A/B на собесе? Собрал 4 популярных вопросов с реальных собеседований, проверь себя 👇

Вопрос: обязательно ли, чтобы распределение исходной метрики было нормальным для применения t-критерия?

Ответ: не обязательно. t-test чувствителен к распределению выборочных средних, а не самих исходных данных. Согласно ЦПТ, при достаточном объеме выборки распределение средних стремится к нормальному. Поэтому t-test отлично работает на скошенных данных, если выборка репрезентативна. Вопрос: можно ли применять стандартный t-test к метрике «Средний доход на сессию»?

Ответ: если один пользователь совершает несколько сессий, они коррелируют между собой. Лучше всего использовать либо агрегацию до уровня пользователя, либо методы коррекции: Bootstrap, Delta-method. Вопрос: как проявляется ошибка первого рода в эксперименте?

Ответ: это ситуация, когда реального эффекта (uplift) нет. Однако из-за случайных колебаний при сэмплировании разница между группами А и B оказывается аномально большой. Если эта разница выходит за пределы критической области (p-value < alpha), мы ошибочно отвергаем нулевую гипотезу, а в 5% случаев мы будем раскатывать «мусорные» фичи, принимая шум за сигнал. Вопрос: что такое SRM и почему это критично?

Ответ: это статистический дисбаланс в объеме выборок (например, вместо 50/50 получили 48/52). Чаще всего это означает, что рандомизация работает некорректно или часть данных теряется в пайплайне. Любые выводы на таких данных будут смещенными и доверять им нельзя.

💡 Как результаты? Если не получается ответить на эти вопросы, то нужно подучить или структурировать в своей голове теорию. Это кстати можно сделать со мной @ivanoff_dennis