Что такое сетевой эффект?
Классический A/B стоит на простом допущении: контроль и тест не влияют друг на друга.
Поведение юзера из группы B определяется только тем, что ему показали, и никак не отражается на юзерах из группы A. Это называется SUTVA, Stable Unit Treatment Value Assumption.
Именно поэтому эффект фичи можно посчитать как обычную разницу средних между группами.
Проблема в том, что иногда это допущение не выполняется.
Представим тест реферальной программы. Или группового заказа. Или чата. Или ленты, где люди видят активность друг друга.
Юзер из группы в тестовой группе рассказывает о фиче другу, который находится в контрольной группе и контроль тоже подвергается воздействию.
Теперь контроль загрязнён тем самым эффектом, который хотелось измерить только в тесте.
Группы перетекают друг в друга, и разница между ними схлопывается.
Это и есть сетевой эффект (он же network interference).
Что при этом происходит на практике.
1. Эффект недооценивается.
Если тест протекает в контроль, контроль подрастает вместе с тестом, и разница между группами оказывается меньше реальной, что сказывается на значении инкремента метрики.
2. Эффект переоценивается.
Обратная история: фича создаёт ценность только при высокой плотности участников.
Хороший пример - платный буст для продавцов на маркетплейсе.
Буст поднимает карточку продавца выше в выдаче. Но общее число покупателей и заказов от этого не растёт: спрос фиксированный, буст лишь перераспределяет его.
Если буст в тесте только у пяти процентов продавцов, эти счастливчики забирают заказы у всех остальных и показывают отличный прирост продаж.
Метрика радует, фича катится на всех.
И тут выясняется, что когда буст есть у каждого, вверх не поднимается никто - все вернулись на свои места, спрос делится примерно как раньше, а прирост, который был в тесте, испарился.
В тесте измерялось преимущество над теми, у кого буста нет, а после раскатки таких просто не осталось.
Как с этим работать.
Для начала стоит честно ответить на вопрос, есть ли вообще в продукте канал, по которому юзеры влияют друг на друга?
Примеры каналов: приглашения, общий контент, общий инвентарь, общая очередь, конкуренция за один ресурс.
Если каналов нет, можно выдохнуть и использовать классический A/B.
Если нет - читаем дальше.
Дальше имеет смысл поменять единицу рандомизации.
Вместо отдельных юзеров в группы A и B распределяются целые кластеры - группы людей, которые связаны между собой.
Тогда друзья, коллеги, соседи по городу попадают в одну и ту же группу, и влияние перетоков между ними снижается.
Вариантов, что считать кластером, несколько.
Гео-эксперименты.
Рандомизируются города или регионы целиком: весь один город в тесте, весь другой в контроле.
Перетекание между географиями минимально.
Сложность в том, что резко падает число независимых единиц (было сто тысяч юзеров, стало сорок городов), доверительные интервалы разъезжаются, и нужен либо длинный тест, либо аккуратный подбор похожих пар городов с матчингом.
Кластеризация по графу.
Строится граф связей и режется на слабосвязанные сообщества (community detection), которые уже рандомизируются.
Внутри группы связей много, между группами мало, значит, и утечка мала.
Это дороже и требует данных о связях, но для социальных фич подход самый честный.
Switchback Также часто гоняют switchback: один и тот же пользователь переключается между A и B по временным окнам и затем оценивается эффект между этими окнами.
Главная мысль вот в чём.
Сетевой эффект не экзотика для соцсетей.
Он живёт везде, где действие одного юзера меняет опыт другого: реферальные программы, лояльность с приглашением друга, групповые заказы, любые двусторонние рынки, даже банальная нагрузка на инфраструктуру.
Так что прежде чем доверять результату теста, стоит задать себе один вопрос: может ли юзер из одной группы повлиять на юзера из другой?
Если да, тест что-то измеряет, но не то, что кажется.
