🎰 В hh заменили A/B-тесты бандитом и проверили его A/B-тестом

Баннер с карьерными курсами – один из главных входов в сервисы hh. Посылы на нем гоняли через классические A/B: каждый тест съедал ресурсы команды, а эффект за месяц выходил около нуля

Тогда выбор посыла отдали многорукому бандиту. Он сам перекидывает показы на тот вариант баннера, который лучше приводит людей на курсы. А чтобы понять, не врет ли бандит, поставили контрольный A/B-тест: бандит против ручной раскатки каждого варианта

Чем закончилось, Кирилл Фейн расскажет 14 октября на онлайн-митапе hh по продуктовой аналитике. Будет еще 4 доклада от hh и X5:

• Анастасия Тяпкина, X5 – зачем корзине собственный ID. Брошенную корзину обычно ищут по сессиям, а сессия не видит, что человек вернулся на следующий день или параллельно собирал заказ на другой адрес

• Дмитрий Утенков, hh – как тестировать приоритизацию лидов, когда пара крупных B2B-платежей перевешивает вклад самой модели

• Александр Кореньков, X5 – как с помощью Marketing Mix Modeling вытащить чистый эффект ТВ, радио и наружки

• Анастасия Маврина, X5 – почему просели метрики поиска: поиск не понял запрос, нужного товара нет в ассортименте или поехало ранжирование

Я начинал стажером в Поиске Ozon, так что последний доклад для меня самый интересный. Стоит он в 20:15 по Москве, на Бали это четверть второго ночи, а утром серф. Досижу или нет? 📅 14 октября, 18:30 МСК, онлайн. Трансляция в VK и YouTube, ссылки пришлют незадолго до начала. Регистрация бесплатная – по этой ссылке

С ребятами из hh мы недавно записывали подкаст. Делают круто, очень рекомендую сходить послушать митап 😍

@tagir_analyzes

В этом посте были ссылки, но мы их удалили по правилам Сетки