Решил поделиться своими размышлениями о том, что такое экспериментальная культура компании и по каким критериям можно понять, что она есть в компании.

1. Понимание места экспериментов в общем процессе продуктовой работы Т.е. команды понимают когда нужно применять АБ тест, а когда можно обойтись без него, а когда их проводить вообще невозможно. Команда не пытается заменить продуктовые исследования экспериментами.

2. Толерантность к проигрышам Как показывает практика только 10-30% АБ тестов дают значимое улучшение, а более 70% гипотез проваливается. Для компаний, которые провели много АБ тестов это обычные цифры, но для тех кто только начинает эти цифры могут быть жестким ударом об реальность.

3. Контроль здоровья платформы сплитования и здоровья отдельных экспов В компаниях с развитой культурой экспериментов, много внимания уделяется контролю качества системы сплитования - она должна выдавать честный рандом и не подвергаться смещению.

Тоже самое относится к каждому отдельному эксперименту, перед тем как подвести его итог важно убедиться, что он прошел честно: нет SRM, нет пересечения выборок, нет аномалий в данных и прочего.

4. Единый процесс и методология проведения АБ тестов Т.е. в компании должен быть описан процесс как именно проводится планирование Аб теста, его разметка, настройка, запуск, валидация и подведение результатов - это должно помочь избежать ошибок и ускорить процесс при большом числе АБ тестов. Кроме этого должны быть разные артефакты: страницы с описание методик и метрик, чек листы планирования и подведения результатов.

5. Валидация метрик и методик Перед тем как внедрить какой-то новый подход в работе, например последовательное тестирование или какую-нибудь экзотическую метрику с причудливым распределением важно проверить, что эта методика или метрика будет корректно отрабатывать с вашими данными и стат критериями, которые вы будет использовать.

Изучить уровень ошибок первого и второго рода, сравнить чувствительность с другими методиками и метриками и только убедившись в том, что вы понимаете как это работает и контролируете корнер кейсы переходить к широкому использованию на бою.

6. Наличие автоматизированных отчетов для типовых АБ тестов Многие АБ тесты довольно просты. Проводятся на конверсию или на какие-то средние показатели. Каждый раз писать новый скрипт или править старый для подсчета итогов АБ теста утомительное и не благодарное занятие в котором легко накосячить. Поэтому хорошо бы иметь типовую автоматизированную отчетность для контроля здоровья и обсчета типовых АБ.

7. Хранилище экспериментов и мета-анализ Хранилище - это некоторый каталог где хранятся дизайны АБ тестов и их результаты, чтобы любой из команды мог узнать что было протестировано и какой результат это дало.

Под мета-анализом я подразумеваю обобщенный анализ большого числа АБ тестов с целью понимания успешности всего процесса АБ, поиска каких-то общих паттернов в АБ. Получения новой информации из большого числа АБ тестов.