Никогда не доверяй результатам чужих a/b тестов

Недавно болтали с коллегой про другую команду в компании:

  • Да у них ничего не прокрасилось
  • Почему?
  • А какая разница? Она долго делали, значит всё попробовали

Моя сложившаяся за жизни политика: не доверяй только результатам

В моей жизни было такое, что: ◾ Тест зелёный. Закопавшись, выяснилось, что ребята подвели результаты не на всей выборке, а взяли из нее "активных", и на них подвели ◾ Тест красный. Закопавшись, выяснилось, что были баги, будут перезапускать ◾ Тест красный . Закопавшись, поняли, что был так себе дизайн И так далее далее далее

Всегда важны причины, без них результаты ничто И подсматривая в вики соседних команд, я всегда зайду и уточню Или по вашему это перебор? 🤔

Никогда не доверяй результатам чужих a/b тестов | Сетка — социальная сеть от hh.ru