❓Как в A/B-тестах отличить эмоции пользователей от реального эффекта?

Разберем ситуацию, которая происходит прямо сейчас:

В начале января на IOS вышло обновление всеми нашего любимого Telegram, после которого у многих знатно подгорело. Вслед за Apple пришел дизайн «жидкое стекло», в общем никто равнодушным не остался точно 🥴

Добавили блюр, прозрачные элементы и мягкий эффект преломления света. И! конечно же, всеми ненавистная кнопка поиска в правом углу экрана 🔍

Прошло 1,5 недели) Сначала все ругались, а теперь уже привыкли и просто пользуются.

В A/B-тестах так же:

🔹 Эффект новизны - метрики растут, потому что «смотрится свежо». Через время эффект исчезает. 🔹 Сопротивление новому - метрики падают, потому что пользователи потеряли привычный элемент. Потом адаптируются.

Что делать в A/B-тестах?

1. Учитывать адаптацию - не оценивайте результат по первым дням.

2. Сравнивать старых и новых пользователей - новые не знают, «как было раньше».

3. Использовать устойчивые метрики - тут уже зависит от продукта.

Важно не забывать, что пользователи живые люди, а их реакции часто очень эмоциональны. Задача теста - увидеть за эмоциями устойчивое поведение.

Главное! Тестируйте дальше, смотрите на новичков и старичком, не доверяйте самому первому впечатлению.

P.s. Мне обнова зашла, хотя в первые дни немного мозолила глаза, Больше всего мне, конечно, нравится, как стильно выглядит наш data.hub! И «лупа» (поиск в правом нижнем углу) вовсе не бесполезная штука, вы вспомните, что раньше, чтобы найти какую-либо инфу в чатах нужно было проскроллить в самый верх, больше этого делать не нужно.

А вы что думаете?