Почему одни A/B-тесты срабатывают в 58% случаев, а другие – только в 35%?

Компания Optimizely, разработчик платформы для A/B-тестирования и оптимизации цифровых продуктов, опубликовала масштабное исследование. Аналитики изучили 173 тысячи экспериментов более чем в 1200 компаниях за 2018–2026 годы, чтобы выяснить, какие подходы к тестированию гипотез помогают улучшать показатели бизнеса.

Один из главных результатов: качественно подготовленные тесты показывали статистически значимое улучшение основной метрики в 58% случаев, а тесты с ошибками в постановке – только в 35%.

При этом 43% экспериментов компании проводят в нижней части воронки, хотя изменения на более ранних этапах часто дают больший эффект.

Например, команда тестирует разные варианты кнопки покупки, пытаясь увеличить конверсию. Но проблема может быть гораздо раньше: пользователи с трудом находят нужный товар или не понимают, почему стоит выбрать именно его.

В таком случае можно провести десятки тестов оформления заказа и почти ничего не изменить в продажах.

Исследование показало, что гипотезы, направленные на то, чтобы пользователям было проще находить нужное, срабатывали в 60% случаев. А эксперименты, которые пытались сделать ценность предложения понятнее только в 41%.

Что стоит проверить перед запуском следующего эксперимента?

✅ Какую проблему клиента или бизнеса хотим решить и чем подтверждаем ее существование?

✅ Какое изменение в поведении пользователей ожидаем увидеть?

✅ По какой метрике поймем, что гипотеза сработала?

✅ Что будем делать с результатами: внедрять решение, дорабатывать или отказываться от идеи?

Чтобы выбирать гипотезы для тестирования, важно понимать, что мешает клиентам пользоваться продуктом или совершать покупку. Тогда команда сможет сосредоточиться на изменениях, которые действительно могут повлиять на результат.

🔻 На курсе «Продакт-менеджмент: от системы к росту» разбираем, как находить перспективные гипотезы, проверять их на практике и принимать решения на основе данных.

Участники проходят весь путь создания и развития продукта по методологии Product Focus 4.0: исследуют рынок и клиентов, находят перспективные ниши, проверяют гипотезы, формируют ценностное предложение, разбирают бизнес-модель и стратегию выхода на рынок.

Все на своем реальном продукте, с практическими разборами от экспертов. В программу встроен AI-ассистент Kreos, который помогает ускорять исследования, анализировать данные и прорабатывать гипотезы.

👉 Подробнее о курсе

🔻 Если хотите выстроить такую работу во всей команде, у нас есть корпоративное обучение. Адаптируем программу под задачи бизнеса, чтобы сотрудники учились проверять гипотезы и принимать продуктовые решения на реальных данных.

По нашим программам уже обучаются команды Т-Банка, Сбера, Яндекса, ВкусВилла, Ростелекома, Газпрома, Спортмастера и других компаний.

👉 Узнать о корпоративном обучении