Как я запускал A/B-тест на рассылке для карты Апельсин

Первым делом смотрю переходы, и там приятный сюрприз: CTR из просмотра в переход — 4,5%. Такого в билайне до меня ещё ни у кого не выходило. Клики между пятью вариантами при этом идут вровень, так что победителя ищу в заявках — за этим тест и затевался.

И вот в заявках один текст выстреливает: в пять раз больше остальных. А дальше самое интересное. Аудиторию я нарезал сам — пять одинаковых групп, случайная выборка из одного сегмента, лендинг у всех общий. То есть всё, кроме текста, было идентичным. А сам текст человек видел ровно секунду до перехода и больше к нему не возвращался.

И именно он вытянул всю разницу. Оказывается, текст продолжает работать уже после клика — настраивает человека на то, с чем тот приходит на страницу. Вариант, который звал действием, «оформите карту», приводил готовых оформлять. А тот, что звал выгодой, «получайте кешбэк», — тех, кто зашёл посмотреть. Клик одинаковый, а люди за ним разные.

Обычно ведь воронку делят по зонам: за клик отвечает креатив, за заявку — лендинг. А тут выходит, что границы нет, и первое слово в смс дотягивается до кнопки «оформить» через пару экранов.

Как я запускал A/B-тест на рассылке для карты Апельсин | Сетка — социальная сеть от hh.ru