Редизайн повысил конверсию? Сначала покажите контроль

Простой критерий, который помогает отличить удачную правку от совпадения.

По материалам выступления Игоря Кузина, основателя и CEO Smart Data Hub, на онлайн-конференции Vitamin.tools.

Знакомая ситуация: после обновления сайта заявок стало больше, и команде уже хочется масштабировать решение. Но за тот же период могли измениться источники трафика, оффер или сезонный спрос. Связь по времени ещё не доказывает причину.

Игорь Кузин посвятил доклад именно этой проблеме: как оценивать изолированный эффект изменений с помощью причинного анализа и Causal AI.

Что спросить на встрече по результатам

Какую гипотезу проверяли? Кто оставался без изменения? Как повели себя оплаченные заказы, а не только отправленные формы? Если контрольной группы не было, по какой логике построили сравнение и какие внешние факторы учли?

Операционную часть тестов можно собирать через Vitamin.tools: бюджеты разных рекламных кабинетов в одном окне, инструменты для лендингов и A/B-проверок. Но вывод «эта правка дала рост» появляется только после качественного сравнения, а не после одного отчёта.

На практике лучше честно назвать результат неубедительным и повторить проверку, чем масштабировать случайный всплеск. Как в вашей команде фиксируют контрольный сценарий до релиза?