Количественное исследование не равно A/B-тесту: цифры могут «измерить», но не обязаны «доказать».

Классика: команда делает опрос «стали бы вы чаще пользоваться фичей?» или «как вам новый экран?», получает красивые проценты и несёт это как подтверждение эффекта. Потом выкатывают — и метрики молчат. Цена ошибки не в том, что опрос “соврал”. Цена в том, что вы приняли продуктовое решение, как будто у вас была причинность, а у вас была только декларация или корреляция.

Механика простая. Опросы и анкеты хорошо ловят формулировки, ожидания, предпочтения, барьеры и язык пользователя. Но они почти не ловят реальное поведение в контексте: привычки, трение, конкурирующие сценарии, «не заметил», «забыл», «мне лень». A/B-тест, наоборот, создан для одного: проверить, меняет ли конкретное вмешательство конкретную метрику при рандомизации. А наблюдательные данные (логи, когортный анализ без теста) чаще отвечают на «что связано с чем» и «где течёт воронка», но не на «из-за чего».

Минимальный чек-лист выбора метода под задачу:

  1. Какое решение вы принимаете? Если это “вкатываем или нет” и нужен прогноз влияния на метрику — вам нужен эксперимент или максимально близкая к нему квази-экспериментальная схема.

  2. Нужна причинность или объяснение? Причинность про “сработает ли”. Объяснение про “почему так происходит” и “какие мотивы/барьеры”. Это разные ответы, и редко один метод закрывает оба.

  3. Можно ли рандомизировать и удержать сравнимость групп? Если нет — честно признаём, что вывод будет слабее, и закладываемся на смещения.

  4. Есть ли метрика в поведении и доверие к данным? Если событие не инструментировано, данные плавают, меняются правила логирования — никакой A/B не спасёт, сначала data quality.

  5. Что именно вы измеряете в опросе? Опросом можно валидировать язык, сегменты, критерии выбора, perceived value, понимание и страхи. Но не “ожидаемый uplift” и не “будет ли ретеншн”.

Правильная практика выглядит как связка: сначала формулируем гипотезу и решение, затем инструментируем поведение, потом проверяем влияние экспериментом, а объяснение добираем опросом, интервью и диагностикой по сегментам и флоу. Спор обычно начинается там, где A/B хотят использовать как ответ на “почему”, а опрос — как ответ на “что будет с метрикой”. В обоих случаях это самообман, просто в разной упаковке.