AB-тест - это прекрасный инструмент для принятия бизнес-решений. Для проверки гипотезы вы делите выбранную аудиторию в нужном соотношении и наблюдаете за тем, как меняются метрики сегмента В (= тестовой группы, на которой проверяются изменения) в сравнении с сегментом А (= контрольной группой, которая продолжает взаимодействовать с продуктом, как раньше). Но как и для любого инструмента, у АВ-тестов есть своя “инструкция к применению”.

Тесты не должны проводиться просто потому, что “в продвинутых компаниях так принято” или потому, что “мы не принимаем вообще никаких решений без тестов”. Далеко не все нужно проверять экспериментом (да и не все, если честно, можно проверить). 50% успеха - правильный дизайн эксперимента: если его правильно проработать, то ни у команды не возникнет вопросов, а зачем мы собственно что-то проверяем, ни у вас - когда настанет момент принимать решение на основе полученного результата.

В дизайне эксперимента есть 2 больших этапа. Здесь расскажу про первый -

💬 Этап 1: формируем гипотезу

Нужно четко определить, какая проблема есть и какой вариант решения этой проблемы (= какую гипотезу) вы хотите проверить.

Примеры таких проблем: низкая конверсия в подключение нового продукта, снижающиеся показатели выручки по товарному сегменту, необходимость выбора из нескольких вариантов развития продукта и т.д.

Допустим, мы вывели в тарифную линейку новый вариант тарифа, но средний уровень конверсии в подключение, несмотря на хорошее промо, стат. значимо ниже, чем у всех остальных тарифов. Считаем, что тариф соответствует требованиям рынка, в нем нет технических проблем, есть свои преимущества, промо проводили в тех же объемах и с тем же качеством, что и раньше.

🔸 Задача: вырастить конверсию в подключение нового тарифа как минимум до уровня похожих тарифов

🔸Цель эксперимента: понять, что может повлиять на конверсию в подключение нового тарифа

🔸Сегмент, на котором хотим проверить гипотезу: все новые В2С-абоненты (сегмент может быть достаточно широким, если предполагается, что продуктом может пользоваться большое количество людей + если гипотезу нужно проверить быстро)

🔹Пример гипотезы: если мы предложим новым пользователям возможность пересобрать тариф на старте (например, добавить в него 1-2 доп. продукта - доступ в стриминговый сервис, скидку на партнерский сервис т.д.), то сможем вырастить конверсию в подключение до уровня прошлых тарифов или сделать ее выше среднего

🔹Предпосылки гипотезы: по опыту в самой компании и по данным рынка видим, что новые абоненты охотнее выбирают тарифы-конструкторы, чем обычные тарифы

🔹Оценка потенциального эффекта (важно для защиты гипотезы): за счет роста конверсии в подключение тарифа с X% до Y% месячная выручка может вырасти в диапазоне от +C% до +D%

Продолжение - в следующем посте ☝️