Итак, человек внезапно осознал, что захотел работать в Data Science. Учит основы Python, решает задачи на LeetCode, строит деревья решений на датасетах с Kaggle. Однако на первых же собеседованиях валится из-за вопроса про то, что такое A/B-тесты. Кажется, будто бы это очередное повышение порога входа, чтобы хоть как-то отфильтровать очередь за забором. Тем не менее в действительности же A/B-тесты являются важным и мощным инструментом в Data Science.

Например, в банке работает модель кредитного скоринга A. С одной стороны, вроде бы нет смысла ничего менять, ибо метрики качества держатся на высоком уровне. С другой стороны, обнаружены новые тенденции, которые если не принять во внимание и не выкатить модель B, то можно в будущем понести убытки. Консервативный и диаметральный ему шаг одинаково рискованны. Что делать в подобной ситуации?

Обратиться к канареечному релизу. В этом случае 1% заявок на кредиты можно перенаправить в сторону модели B. Но тогда актуален вопрос, как объективно сравнить метрики, если данные одновременно отличаются количественным и качественным образом?

Вот здесь и оказываются актуальными A/B-тесты, проводимые по следующему алгоритму.

Шаг 1. Выдвигаем две гипотезы. Нулевая — о том, что никакой разницы нет. Первая — разница все-таки есть.

Шаг 2. Для вероятности того, что нулевая гипотеза верна, задаем некий порог. Обычно такую величину задают в диапазоне 5-15%.

Шаг 3. Считаем для метрик коэффициент Стьюдента, учитывающий разницу в количестве испытаний.

Шаг 4. По табличным параметрам коэффициента Стьюдента находим вероятность того, что нулевая гипотеза верна.

Шаг 5. Если рассчитанное значение ниже установленного выше порога, то A/B-тест успешен. В противном случае тест провален.

От исхода проведенного A/B-теста зависит решение, увеличивать ли долю перенаправленного трафика в рамках канареечного релиза или нет.

Можно сказать, A/B-тесты являются столь же универсальным навыком, сколько и SQL. Поскольку сложно назвать профессию в IT, где без них реально обойтись. В частности, благодаря A/B-тестам становится понятным, перекрашивать ли кнопку или добавлять новую услугу. Поэтому сильно советую не пренебрегать рассмотренным мной классным статистическим инструментом.