Этот тест часто называют «50 оттенков синего», и он проводился 15 лет назад. Его приводят как запоминающийся пример AB-теста, психологи иллюстрируют им тезисы о влиянии цвета, короче, внимания к нему до сих пор много. Но у аналитиков он восторга обычно не вызывает )

Про него сложно найти хоть немного связной информации, кроме заголовков типа «А вы знаете, как оттенок ссылки принес 200 миллионов $$$? 🤑💰🚀». В целом, смысл такой: Гугл решает проверить гипотезу о влиянии цвета ссылки в рекламном блоке на ее кликабельность, при этом тестирует 41 вариант цвета. Эксперимент с каждым вариантом цвета проводился на 1% (либо 2,5%) пользователей. Это была серия последовательных тестов длительностью 2 недели.

Результатом стал вывод, что на более фиолетовые оттенки кликают лучше, чем на более зеленые. Речь не идет о принципиально разных цветах, все оттенки оставались в пределах цвета, который обычный человек опишет как синий/голубой. Далее идет магия расчетов, о которой вообще нет данных. И потом итог: выбранный оттенок увеличил годовой доход с рекламы на 200 миллионов долларов. По одному единственному слайду, который можно найти, видно, что замеряли они CTR, время до первого клика, показатель отказов (то есть долю «брошенных» поисков) и явно что-то еще.

Что мне не нравится в этом тесте с точки зрения здравого смысла:

🤨 откуда взялись 200 млн. и как выявляли это изолированное влияние теста? В тех же 2009-2010 происходят изменения поисковых алгоритмов. Да и в самой рекламе тоже — Гугл добавляет в объявления дополнительные быстрые ссылки, появляется товарный поиск. В 2009 они вообще-то запускают глобальнейшее изменение: таргетинг по интересам. А это всё действия, направленные на то самое «чтоб кликали лучше». И рынок рекламы растет, например, у Яндекса в 2010 году доход с поисковой рекламы почти в 1,5 раза вырос по отношению к 2009 без экспериментов с цветом ссылок.

У Гугла 2009 год был действительно не совсем успешным (они росли медленнее прогнозов), так что вряд ли они ничего с этим не делали, только пилили тест ) Возможно, в оценке результатов имела место какая-то простая экстраполяция. Типа: CTR прирос в группе эксперимента на X, соответственно, если бы не раскатка «удачного цвета» на всех, то он был бы в течение следующего года ниже на X, а мы бы недополучили 200 миллионов.

🤨 можно найти статьи с примерами тестируемых цветов: они плохо различимы даже на современных мониторах. В 2009 году с экранами всё еще хуже было, добавим туда людей с незначительными нарушениями цветовосприятия, которых немало. То есть мы тестируем варианты дизайна, которые для части пользователей невидимы, а еще для части выглядят не так, как планировалось. И получаем по факту хаотическую смесь AA и AB-тестов.

🤨 когда критикуют этот эксперимент, пишут, что в 2009 году Гугл заработал 23 миллиарда долларов (суммарно по всем их рекламным продуктам). 200 миллионов это, конечно, много, но это всего-то 0,9% их годового дохода. Данных по доходу именно с контекстной рекламы без медийки я не нашла. Но доля там получится интереснее, чем 0,9%. Так что к этой части я придираться не хочу )

Этот эксперимент называют победой инженеров над дизайнерами (статья Guardian «Why Google has 200m reasons to put engineers over designers»). А еще говорят, что вот смотрите, как данные умеют давать нам ответы на сложные вопросы. Нуууу, если достаточно поиздеваться — хоть над кем, и над данными тоже — ответы точно будут. Но не всегда честные 🤔 А картинка — это тот самый единственный слайд из презы Joshua Porter, который дает представление об эксперименте. Что думаете? #гугл #аб-тесты