Я много писал о том что АБ тест это всего лишь инструмент проверки гипотез. Сначала идет гипотеза, а потом уже инструмент для её проверки. Давайте разберем какими параметрами должна обладать хорошая гипотеза.

1. Сигналы жизнеспособности Под сигналами я имею в виду некоторые предпосылки успешности гипотезы. Например вы провели исследование поведения пользователей в продукте и нашли, что пользователи не могут пройти калькулятор в воронке.

Вы видите это на цифрах - это сигнал о том что это жизнеспособная гипотеза. Допустим провели опрос пользователей и они тоже сказали, что им не понятен калькулятор. У вас уже 2 сильных сигнала о жизнеспосбности.

2. Целевая аудитория Любой продукт и его фичи должны делаться с прицелом на конкретную аудиторию. Также и с гипотезами. Вы должны четко понимать на какой сегмент аудитории хотите повлиять своей гипотезой.

Большое заблуждение считать, что у вашего продукта однородная аудитория. Как правило есть несколько разных работ или потребностей у разных групп пользователей.

Если вы не знаете сегменты своей аудитории и их потребности, критерии выбора и cjm, то вам рано заниматься АБ тестами, т.к. вы будете стрелять из пушки по воробьям и жечь ресурс и время команды.

3. Понятное изменение Здесь речь про реализацию. Что конкретно вы хотите изменить в продукте, на каком экране это будет сделано, как будет выглядеть фича или написан новый оффер.

4. Ценность или решение задачи Это очень важный пункт. Если вы не можете убедительно объяснить себе и команде какую именно задачу пользователя вы решите при помощи гипотезы или как увеличите ценность для клиента, то скорее всего вы делаете какую-то бесполезную фигню, которую пользователи даже не заметят. Чтобы обосновать ценность нужно четко понимать аудиторию, что было указано в п 2.

5. Эффект и метрики У гипотезы должны быть метрики по которым вы точно сможете идентифицировать влияние. Подбор метрик это отдельная большая тема, т.к. важно учитывать чувствительность метрик, релевантность для гипотезы и прочее.

6. Размер аудитории Возможно все предыдущие пункты выполнены на 100%, но может случится, что сегмент на который вы планируете влиять очень маленький и теряется всякий смысл, т.к. бизнес эффект будет очень маленький. Например на страницу сайта где вы хотите тестировать приходит всего 100 пользователей в месяц и доход от них 0,001% выручки.

Прикрепляю пример расписанной гипотезы