Тестировать или не тестировать? Как не угробить продукт на этапе решений

A/B тесты — это наше всё, но это не точно. Нужно ли всегда тестировать каждое изменение?

Продуктовая жизнь полна парадоксов: 📌 Иногда тестишь месяцами, а вывод очевиден, и можно было просто выкатить. 📌 Иногда выкатываешь без теста, и бизнес захлебывается в потере метрик.

Когда тест обязателен? 📎 Изменение затрагивает ключевые метрики и может навредить бизнесу. 📎 Гипотеза неочевидна, есть риск ухудшить UX. 📎 Фича дорого стоит, и её провал будет критичен.

Когда можно просто выкатить? ⚡️ Изменение логично полезно и не может повлиять негативно (например, добавление признака инклюзивности в карточке гостиницы). ⚡️ Тестирование долго сходится или затруднено технически (например, изменение алгоритма выдачи, который влияет на ретеншн в долгосроке). ⚡️ Откат — дело пяти минут.

А что будем считать? И вот тут начинаются пляски с бубнами: 🤪 Конверсия? Да, но если тест сойдётся через 3 месяца — нас всё еще устроит такой срок? 🤪 Клики? Может, да, но в долгосроке это ничего не скажет. 🤪 Ретеншн? Отлично, но как мы убедимся, что рост связан именно с этой гипотезой? Эта метрика вообще сомнительная со всеми своими когортами и разницей в разных продуктах.

Выбор метрики часто важнее, чем сам тест. Если неправильно выбрать точку успеха, можно легко убедить себя, что улучшение есть… там, где его нет.

Главная дилемма продакта: Экспериментировать или действовать? Ждать полгода, пока тест дойдет до статзначимости, или просто выкатить и жить дальше?

А вы тестируете всё или иногда жмёте кнопку "Deploy now"?