4. Offline-проверка — 2030 🕵️♀️
На этом этапе практически все усилия бигтеха направлены на одно: научиться качественно предсказывать поведение модели в онлайн-тесте и проде по offline-метрикам. 📴
Подходы тут можно разделить на два направления. 👇
1. Модель, которая предсказывает поведение онлайн-метрик по offline-метрикам
На основании offline-метрик мы строим метамодель, которая предсказывает эффект и величину изменения целевой метрики в A/B-тесте. 📈
Не буду тут останавливаться подробно. Вероятно, часть команд уже это делает. Оставлю ссылку на статью Google, где про это неплохо написано. 📚
Choosing a Proxy Metric from Past Experiments — Google 2. Модель, которая симулирует поведение пользователей и пытается предсказать их реакцию
Фактически это шаг дальше классических offline-метрик. 🤖
А что делают классические offline-метрики? Давайте вспомним.🤔
Они берут товары, купленные клиентом в прошлых заказах, и виртуально считают, что если бы клиент увидел их на рекомендательной полке, то совершил бы покупку. 🛒
Пример на пальцах 🤘
Допустим, у конкретного пользователя на рекомендательной полке не было чипсов начос. А в новом алгоритме мы ему их показали. 🌮
Мы видим, что в корзине у него есть чипсы начос. Поэтому считаем, что если бы мы показали их на рекомендательной полке, то пользователь совершил бы покупку. ✅
По сути, у этого подхода два серьёзных минуса. ⚠️ Первый — слишком жёсткое предположение, что пользователь совершит покупку, если мы покажем ему товар, который лежит в его корзине.
Но это не всегда так. Чипсы начос он мог положить в конце, чтобы просто добить корзину до минимального чека. 🤷♂️
Второй — мы никак не моделируем, как изменится поведение пользователя после просмотра другой рекомендательной полки.
Допустим, мы хотим поставить чипсы начос вместо соуса болоньезе. Этот соус также стоял для пользователя на полке.
Если посмотреть исторические данные, то пользователь не покупал соус болоньезе. Но, увидев его в рекомендациях, он мог придумать романтический вечер с пастой. И в итоге накупить кучу продуктов в нашем магазине. 🍝❤️
Всё это можно попытаться смоделировать с помощью симуляций пользовательского поведения. 🤖
