Принято считать, что продакт должен уметь в A/B-тесты. Но на консультациях и обучениях я вижу, что у многих продактов такого опыта нет. Почему так получается? Обычно продакт упирается в одно или несколько ограничений:

▫️Нет инфраструктуры и данных. Для теста нужны корректная рандомизация пользователей по группам, feature flags, разметка и логирование событий, а также аналитика, которая считает метрики в разрезе групп. В небольших командах этого часто нет, а построить такую инфраструктуру долго и дорого.

▫️Мало пользователей. Чтобы отличить стат. значимый эффект от шума, нужна достаточная выборка, а её не хватает в ряде продуктов, например, в B2B с сотней клиентов или на раннем этапе стартапа. И, даже при большом трафике, выборки может не хватить, если целевое действие редкое, например покупка машины или квартиры.

▫️Отложенные эффекты и длинный цикл сделки. Если ключевая метрика – продление контракта (B2B SaaS, годовые подписки) или Retention 6 месяца (ежемесячные подписки), результата придётся ждать месяцами, а столько времени у продакта, как правило, нет.

▫️Сетевые эффекты. В маркетплейсах, соцсетях и мессенджерах изменение для одних пользователей влияет на поведение других, поэтому г_руппы теста перестают быть независимыми_. Если тестовая группа на маркетплейсе получила скидку и раскупила товар, контрольная увидит меньший ассортимент, и результат исказится.

▫️Нет data-driven культуры: вместо Customer Development – CEO-driven Development. Тут без комментариев 🙃

Ну а что делать, если A/B-тест провести нельзя, а проверить гипотезу нужно, разберу в следующем посте 👨‍💻

#принятиерешений #эксперименты #abтесты