Красный флаг в A/B: есть «метрика успеха», но нет метрик вреда (guardrails).

Сценарий знакомый: тест «победил» по целевой метрике, вы выкатываете, через неделю начинается пожар. Лента стала медленнее, ошибки выросли, маржа просела, в поддержку прилетело, ретеншн тихо пополз вниз. Самое дорогое тут даже не откат, а потеря доверия к экспериментам: дальше любой результат воспринимают как манипуляцию.

Почему так происходит: A/B почти всегда меняет не только поведение, но и состав трафика, нагрузку на систему и экономику события. Если вы смотрите в одну цифру, вы просто не видите, где «победа» куплена ухудшением в другом месте. Успех без ограничителей превращает эксперимент в оптимизацию любой ценой.

Минимальный стандарт guardrails, чтобы тест вообще имел право на прод:

  1. Качество трафика: доля новых/возвратных, гео/девайсы, каналы, бот-фильтры, распределение по сегментам. Если микс поехал, сравниваете разные аудитории, а не варианты.

  2. Перфоманс: latency ключевых экранов/эндпоинтов, время до интерактива, падения рендеринга. Любой рост целевой метрики, купленный задержками, обычно вернётся удержанием и саппортом.

  3. Ошибки: error rate, крэши, таймауты, доля невалидных/дублирующих событий. Если трекинг ломается, «победа» может быть просто изменением измерения.

  4. Деньги: маржа/скидки/возвраты, стоимость инкремента, нагрузка на поддержку и инфраструктуру. Метрика успеха без экономики легко делает продукт дороже, чем он стоит.

  5. Удержание: D1/D7, частота возвратов, отписки/отключения, жалобы. Особенно для изменений, которые «выжимают» краткосрок.

Как это объяснять стейкхолдерам: guardrails — не бюрократия и не «давайте посмотрим ещё 20 графиков». Это контракт на то, что мы не ухудшаем систему за пределами заранее оговорённых границ. Без этого A/B — не доказательство, а ставка на удачу. Обычно спорят не про сами guardrails, а про пороги и окно наблюдения — и это нормальный спор, потому что он про риск, а не про вкусовщину.

Граница применимости простая: чем ближе изменение к платежам, ранжированию, перфомансу и коммуникациям, тем жёстче guardrails. Для низкорисковых UI-правок можно оставить укороченный набор, но «без метрики вреда» — это не скорость, это слепота.