«Тест не подтвердил гипотезу» этих слов боятся
«Тест не подтвердил гипотезу» этих слов боятся больше, чем технических долгов
Умение принести плохую новость правильно это отдельный скилл. И он важнее, чем кажется.
Раньше мне казалось, что если тест не дал результата, то это и моя вина тоже. А когда я рассказывал об этом, то как-будто оправдывался. Потом я понял что проблема не во мне и теперь рассказываю о неудачах подругому.
Вот структура, которую я использую: 1. Факт без эмоций «Тест завершен. Конверсия в группе B не отличается от контроля: +0.3%, p-value = 0.61» Не «к сожалению» и не «мы облажались». Просто данные.
2. Контекст, что это означает «Гипотеза о том, что новая фича увеличит конверсию, не подтвердилась»
3. Что это НЕ значит Здесь важно выйти из режима виноватого. «Это не значит, что идея плохая, возможно, эффект есть, но меньше, чем мы предполагали»
4. Следующий шаг «Предлагаю посмотреть на сегменты, в mobile-аудитории есть слабый положительный сигнал. Можем проверить точечно»
Почему это работает: → Ты не защищаешься и не извиняешься → Переводишь разговор в сторону «что делать» → Показываешь, что неудачный тест это тоже ценная информация
Плохой результат, правильно поданный, часто укрепляет доверие больше, чем хороший результат, поданный небрежно.
· 18.04
Так тесты проводятся, чтобы проверить гипотезу, а не подтвердить её 😭
Да и лучше так, чем если у вас потом обратный тест не прокрасится и получится, что вы все это время фигню какую-то катили, зато верили в нее 😁
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён