Какой вариант кнопки лучше? Посмотрим, что скажет A/B. Что вызывает больше кликов? Посмотрим, что скажет A/B. Что даёт выше конверсию? Посмотрим, что скажет A/B.

Но вот цифры — это микроскоп, а не направление движения.

Проблема начинается, когда мы подменяем продуктовую интуицию и цельную UX-логику бесконечным подбором «лучшего» варианта. Вместо того чтобы думать о системе, мы начинаем играть в игру «угадай кнопку», опираясь на результаты, которые часто не имеют статистической значимости — или хуже: имеют, но в отрыве от контекста.

Выбирая версию, которая чуть лучше по клику, мы можем:

• Убить когерентность интерфейса. • Потерять брендовую целостность. • Испортить пользовательский путь ради одного метрика-фетиша.

A/B-тесты часто работают в вакууме. Без качественных исследований, без взгляда на пользовательский сценарий, без понимания, как один «успешный» экран влияет на весь UX-ландшафт.

Вернётся ли клиент к нашему продукту? Получит ли удовольствие от цельного пользования? Или всё, что мы сделали — заманили в ловушку красивой кнопкой?

YouTube кейс: Тестируют рекомендательные алгоритмы. Новая версия дает больше кликов в первые 3 дня. Но через 2 недели те же пользователи меньше возвращаются на платформу.

Есть множество исследований, где говорится, что гипероптимизация под клики приводит к снижению общего вовлечения.

В статье на Wired «YouTube's Plot to Silence Conspiracy Theories» описывается, как YouTube изменил свою стратегию рекомендаций, переходя от метрики кликов (CTR) к метрике времени просмотра Watch Time, чтобы улучшить качество рекомендаций и уменьшить распространение дезинформации. Это изменение было направлено на повышение удовлетворенности пользователей и снижение негативных последствий гипероптимизации под клики.

A/B — не злодей. Но и не герой Вместо того чтобы отменять тестирование - стоит включить критическое мышление:

— Проверять качество опыта, а не только цифры. — Использовать качественные данные, так как интервью, опросы, тепловые карты.

И главное - стараться делать интерфейс не просто вкусным по цифрам, но и удобным и комфортным - мыслить не как исследователь, а как пользователь .