Есть один довольно дорогой способ потерять деньги в маркетинге: увидеть красивый рост в отчёте, обрадоваться и начать его масштабировать

Представьте обычную ситуацию. Вы поменяли страницу. Старую версию оставили половине посетителей, второй половине показали новую. Получили:

Старая страница — 5% конверсии. Новая — 7%. Рост — 40%.

Как думаете, новая страница лучше?

Нам пока не хватает одной очень важной детали.

Сколько человек участвовало в тесте? 5% против 7% могут ничего не значить Допустим, каждую страницу увидели по 100 человек.

На старой оставили заявку пять. На новой — семь.

Вот вам и те самые +40%. Только вся наша впечатляющая победа — два человека.

На следующих 100 посетителях результат вполне может поменяться местами. Не потому что страница внезапно испортилась, а потому что люди — не лабораторные мыши и идеально одинаково себя не ведут.

Поэтому в A/B-тестах недостаточно увидеть, что одна цифра больше другой. Нужно убедиться, что данных достаточно и полученная разница с высокой вероятностью не случайна.

Причём ошибиться можно в обе стороны. Ошибка №1. Увидеть рост там, где его на самом деле нет, внедрить изменение и потом ещё вложить деньги в его масштабирование. Ошибка №2. Не увидеть реальное улучшение из-за недостатка данных и выбросить хорошую гипотезу.

И вот это уже намного дороже, чем просто неправильная цифра в отчёте.

Как тогда понять, что результату можно доверять?

У аналитиков для этого есть конкретные показатели и расчёты. Но я намеренно не буду сейчас превращать пост в пару по матстатистике.

Для общего понимания достаточно знать две вещи.

Первое: вероятность получить наблюдаемый результат случайно должна быть достаточно низкой. На практике часто ориентируются на порог около 5%.

Второе: тест должен с достаточной вероятностью заметить реальный эффект, если он действительно существует. Часто ориентируются примерно на 80% и выше.

Как именно это рассчитывается — отдельная тема.

Здесь важнее другое: нельзя сначала запустить тест, посмотреть на цифры, которые получились, а потом решить, устраивают они нас или нет.

Нормальная логика выглядит примерно так.

1. Сначала формулируем гипотезу: что меняем и почему это должно повлиять на результат. Заранее определяем, какой показатель хотим изменить и какой минимальный рост вообще будет иметь для нас смысл.

2. До запуска рассчитываем, сколько данных нам нужно собрать.

3. Определяем срок теста. Причём учитываем не только скорость набора трафика, но и цикл принятия решения. Если клиент обычно думает две недели, делать окончательный вывод по продажам через три дня — довольно смелая затея.

4. Корректно делим аудиторию между вариантами, чтобы в одну группу случайно не попала одна аудитория, а в другую — принципиально другая. И стараемся не менять параллельно ещё десять вещей, которые могут повлиять на тот же результат. Иначе потом останется отличный вопрос: а что именно из всего этого сработало?

Это сильно упрощённая версия методики, но для руководителя главное понимать именно принцип: до того как верить результату теста, нужно сначала убедиться, что у нас достаточно оснований ему верить.

А вот теперь фокус.

Допустим, тест проведён идеально. Это всё ещё не значит, что изменение нужно внедрять

Предположим, мы всё проверили. Новая страница действительно увеличивает конверсию с 5% до 7%. Не случайность. Рост реальный.

Казалось бы, теперь точно победа.

Не совсем.

Потому что у бизнеса есть ещё один вопрос:

А денег-то стало больше?

Например, раньше сайт приносил 100 заявок, из которых компания получала 10 продаж. После изменения — 140 заявок. Красота.

Только новый оффер оказался более привлекательным для людей, которые интересуются продуктом, но не готовы его покупать.

И из 140 заявок до продажи дошли семь. A/B-тест при этом не соврал. Конверсия в заявку действительно выросла на 40%. Просто бизнесу от этих +40% лучше не стало. И таких ситуаций может быть много.

Не хватаем символов, продолжение в следующем посте