Персонализация баннеров: A/B на клики часто меряет не пользу, а шум показа
Типичная картина: запускают персонализацию, делят трафик, смотрят CTR. Победитель найден, выкатываем. Через месяц команда спорит, почему выручка не сдвинулась, а жалоб на “навязчивость” стало больше. Цена ошибки простая: вы оптимизировали реакцию на баннер, а не эффект на продукт.
Почему так ломается. В персонализации баннер — не изолированный “виджет”. Он меняет поведение пользователя, а поведение меняет то, что пользователь увидит дальше. Плюс система начинает крутить “удачные” варианты чаще, и вы уже сравниваете не варианты, а разные режимы доставки. CTR в этой игре быстро становится метрикой про распределение показов, новизну и усталость, а не про инкремент.
Красные флаги, из-за которых выводам по “A/B на клики” нельзя доверять:
- Интерференция: баннер влияет на следующие события (поиск, корзина, возвраты), и вы ловите цепную реакцию, а не эффект креатива.
- Смещение по частоте показов: одним вариантам “везет” с инвентарем, временем суток, позициями, а у части пользователей тест превращается в “кому чаще показали”.
- Эффект новизны: первые дни CTR растет просто потому, что баннер новый, а дальше умирает. Победитель недели проигрывает месяцу.
- Долгий хвост метрик: клики случаются сразу, а ценность и вред проявляются позже (конверсия, отмены, retention, доверие). Вы принимаете решение до того, как метрики успели проявиться.
- “Победа” на CTR при падении качества: растет кликабельность, но падает качество сессии, растет скролл-усталость, увеличиваются лишние переходы.
Минимальный стандарт выбора подхода по цели:
- Holdout, если хотите знать инкремент: держите часть аудитории без персонализации стабильно и долго. Это ответ на вопрос “нужна ли персонализация вообще”.
- Multi-armed bandit, если цель — быстро утилизировать трафик под прокси-метрику (клики/переходы), и вы готовы жить с тем, что “честного” A/B сравнения уже не будет. Обязательны guardrails: конверсия, выручка, жалобы/скрытия, частота.
- Uplift, если цель — не выбрать лучший баннер, а выбрать, кому вообще показывать. Тогда успех — в снижении лишних показов и росте инкремента на пользователя, а не в среднем CTR.
В правильной практике сначала фиксируют вопрос (инкремент или оптимизация доставки), потом дизайн (holdout или bandit), и только потом спорят про креативы. Исключение одно: если у вас нет контроля частоты, логов показов и стабильной атрибуции, персонализацию лучше считать “контентным экспериментом” и не делать громких выводов по CTR.
