С прошлого года я внедряю в агентстве практику предварительных тестов с контрольной группой перед масштабированием задач. Все что стоит хороших денег и/или времени: закупка ссылок, генерация контента, смена посадочных и т.д.

Контрольная группа — это ваш трезвый друг, который может сберечь вас от глупости, но проще объяснить на двух недавних кейсах.

1. Вся тестовая группа упала на 10% после внедрения изменений Взяли 20 страниц, протестировали новый шаблон посадочных и контент — получили минус 10%. Кажется, провал. Но смотрим контрольную группу — там падение на 60% после Core Update. Тут важно, что мы делаем только эту узкую задачу по оптимизации и тестам. 😐 Вывод: тест нельзя назвать провальным это точно, но нужно сделать гипотезы, что не дало страницам упасть и масштабировать ещё на страниц 50, чтобы увидеть будет ли восстановление этих страниц.

2. Все выросло на 20–30% в Яндексе и Google В другом проекте протестировали новый подход к оптимизации на 20 страницах — получили  значимый рост. Казалось бы, успех. Можно писать посты, писать кейсы. Ответственный человек за задачу собирается уже все внедрять. А потом добавляем в эту табличку контрольную группу, где вообще ничего не делалось и она выросла на те же проценты. Дальше отрезвление, принятие, экономия месяца работы это точно. 🌚 Вывод: рост — не наша заслуга. Просто так звезды сложились.

В обоих кейсах контрольная группа полностью меняет выводы.

И в чем проблема Я часто вижу кейсы/посты типа: “Оптимизировали одну страницу по чудо методу, внедрили глубокую разметку и она выроста! ВАУ!”,"

А потом смотришь — у сайта выросло вообще всё или результат на уровне статистической погрешности.

Мини кейс 3. Специалист уговорил меня заказать подклейку ссылок у блогера, которого он читает. Клеим на 3 страницы. Через 2 месяца специалист присылает мне отчет — смотри его подклейка дропа хрумером работает!!! И скидывает мне позиции именно по этим 3 страницам. Я отправляю его посмотреть весь сайт и о чудо от подклейки на эти 3 страницы выросли все несколько тысяч страниц (шутка).

Вывод и совет

Если задача дорогая и/или рискованная — сначала тестируйте.

Если тестируете — всегда используйте контрольную группу.