🔗 [Статья] Проксируй это: как ускорить A/B-тесты и не попасть в ловушку метрик

10 декабря вышла статья от X5 Tech 🖤, как подбирать прокси-метрики.

Кстати, эта тема была на aha'25, но теперь есть и на Хабр 🐸

Здесь указано про проблемы North Star Metric: мелкие эффекты сложно задетектировать, тактические задачи не решают и все такое. Добавлю, что зачастую такие метрики имеют высокий MDE и эксперименты оказываются не сильно чувствительными 🤓

Предположим у нас есть продукт, где основной метрикой является GMV, в качестве прокси-метрики может быть выбрана конверсия в заказ, так как она более чувствительная. Быстрее прокрашивается и сонаправлена с метрикой (в предыдущих экспериментах).

📊 Красивая визуализация показывает, как должны вести себя прокси-метрики: либо ловить больший эффект, либо быстрее реагировать на воздействие.

1. Одно из самых важных — это уметь [переходить к причинности.](https://habr.com/ru/companies/X5Tech/articles/974372/#:~:text=От корреляций к причинности) Поэтому здесь рассматриваются: [Дерево метрик,](https://habr.com/ru/companies/X5Tech/articles/974372/#:~:text=и структура связей.-,Дерево метрик,-Строим иерархическую структуру) [Causal Inference.](https://habr.com/ru/companies/X5Tech/articles/974372/#:~:text=причинно-следственный анализ.-,Causal Inference,-Этот подход помогает)

2. [Указали про качество прокси:](https://habr.com/ru/companies/X5Tech/articles/974372/#:~:text=Следим за качеством прокси) метрика должна быть чувствительной и сонаправленной. Классика, когда мы выбираем метрику, на которую хотим опираться при принятии решений в эксперимента

3. [Про составные прокси метрики:](https://habr.com/ru/companies/X5Tech/articles/974372/#:~:text=Композитные прокси-метрики) нашли метрики, а что делать с ними дальше, какие выбрать: те, которые более чувствительные или сонаправленные? Решается с помощью [Парето-оптимизации](https://habr.com/ru/companies/X5Tech/articles/974372/#:~:text=помощью иерархической модели.-,Парето-оптимизация,-Если подходить к)

4. [Про предсказания.](https://habr.com/ru/companies/X5Tech/articles/974372/#:~:text=Добавляем щепотку магии предсказаний) Что если не можем ждать долго пока прокрасится NSM, можем использовать ее прогноз на основе быстрых метрик, которые в теории могут являться прокси. В статье указывается пример: сколько будут зарабатывать студенты после прохождения курсов переквалификации.

5. [Делаем поправки.](https://habr.com/ru/companies/X5Tech/articles/974372/#:~:text=5.-,Делаем поправки,-Хороший пример описан) Чем хуже модель предсказывает NSM, тем сильнее нужно корректировать оценку. Однако, при корректировке мы еще снижаем чувствительность.

6. А нужно ли вообще бежать все подряд использовать? Нужно все проверять и смотреть, а может NSM сам по себе чувствительный (например, в B2C продуктах с многомиллионной аудиторией) 🍪🍪 Очень зашла статья, как и выступление 😇 Ставьте 🤪, если понравилась. Делитесь, удалось ли в продукте выделить прокси-метрики? Если да, то насколько удалось увеличить чувствительность экспериментов?

@zasql_python