Или как перестать выдавать свои фантазии за аналитику. 🫠

За годы работы в маркетинге я заметила одну прекрасную закономерность: гипотезы любят все. А вот проверять их по правилам — уже гораздо меньше желающих.

Особенно когда результаты не совпадают с ожиданиями. — Мне кажется, надо поменять креативы. — Почему? — Ну, старые как-то не очень. — По каким метрикам? — По ощущениям.

Великолепно 👌 Осталось добавить ретроградный Меркурий в медиаплан.

Так как проверять гипотезы, чтобы это было похоже на маркетинг, а не на спиритический сеанс.

1. "Мне кажется" — не гипотеза 😏

У хорошей гипотезы есть причинно-следственная связь, конкретное действие и измеримый результат.

Не "давайте добавим видео на лендинг". А "если заменим статичный первый экран на короткое видео с демонстрацией продукта, конверсия в заявку вырастет с 2% до 2,5%, потому что пользователям станет понятнее ценность предложения".

Вот теперь есть что проверять.

2. Одна гипотеза — одно существенное изменение.

Поменяли оффер, креативы, аудиторию, посадочную страницу и заодно подрядчика? Поздравляю 👏 Если продажи выросли, теперь можно всем отделом гадать, благодаря чему 🥲😄

Не нужно устраивать маркетинговый винегрет. Изолируйте переменные или используйте корректный экспериментальный дизайн.

3. Договоритесь о критериях успеха ДО запуска.

Не после. Не когда увидели красивый CTR. И уж точно не после вопроса руководителя: "Ну что там у нас?" 😏

Определяем заранее: 👉 основную метрику и минимальный эффект, который имеет смысл для бизнеса.

👉 базовое значение и необходимый объём данных.

👉 срок тестирования и условия остановки.

👉 ограничивающие метрики: например, рост конверсии не должен сопровождаться катастрофическим ростом CAC.

Иначе любой результат можно объявить победой. Особенно если очень хочется.

4. Не путайте статистику с желаемым.

Получили три заявки вместо одной? Рост на 200%! Открываем шампанское 🥂 масштабируем бюджет, готовим кейс для конференции! 🏆

Только вот на такой выборке делать выводы рановато 😉

Размер выборки, длительность теста, статистическая неопределённость — всё это существует не для того, чтобы аналитики чувствовали себя нужными.

И заглядывать в результаты каждые два часа с намерением остановить тест на первом красивом числе — тоже сомнительная стратегия.

5. Проверяйте влияние, а не просто изменение цифр.

Конверсия выросла. Прекрасно. А что ещё произошло за время эксперимента?

Начался сезонный спрос? Конкурент отключил рекламу? Отдел продаж наконец начал отвечать на звонки?

По возможности используйте контрольную группу и рандомизацию. Иначе легко приписать себе заслуги погоды, календаря и чужого маркетингового бюджета 🥲

6. Не влюбляйтесь в собственные гипотезы.

Это мой любимый пункт. Особенно когда идея принадлежит человеку, у которого в должности есть слово "директор" 😏

Если гипотеза не подтвердилась, её не нужно реанимировать ещё тремя бюджетами исключительно из уважения к автору.

Отрицательный результат — тоже результат. Если эксперимент был корректным.

7. Считайте деньги.

CTR вырос на 40%. Конверсия — на 15%. Лиды стали дешевле. А маржинальная прибыль упала. Но зато какие красивые графики!

Я всегда за то, чтобы смотреть дальше рекламного кабинета: CAC, LTV, ROMI, маржинальность, качество лидов и окупаемость.

Потому что бизнесу нужны не гипотезы, которые красиво выглядят в отчёте. ЕМУ НУЖНЫ РЕШЕНИЯ, КОТОРЫЕ ПРИНОСЯТ ДЕНЬГИ.

И ещё одно правило, которое я считаю обязательным: фиксируйте результаты экспериментов. Что проверяли, почему, на каких данных, что получили и какое решение приняли.

Иначе через полгода кто-нибудь обязательно предложит "гениальную новую идею", на которую вы уже потратили 200 тысяч в прошлом квартале.

В маркетинге от нас постоянно требуют креативности. Но настоящая профессиональная зрелость начинается там, где ты способен отказаться от собственной гениальной идеи, потому что цифры говорят "нет".