Мы как-то проверяли, влияют ли технические ошибки на retention и не смогли численно оценить влияние. Но вывод «значит, ошибки не мешают» был бы неправильным.

История такова - у менеджмента была гипотеза: пользователи сталкиваются с ошибками и уходят. На первых расчётах мы увидели обратную картину - те, кто встречал ошибки, возвращались чаще. Получается, ошибки помогают удержанию? Был бы очень удобный ответ, но нет((

Зато было правдоподобное объяснение. Пользователи, которым интереснее продукт, чаще заходят и больше им пользуются. А чем больше действий, тем больше возможностей встретить ошибку, даже если вероятность ошибки на одно действие примерно одинаковая. То есть мы могли увидеть не пользу ошибок, а различия между самими пользователями. Потом пошли дальше: разбили пользователей на группы по активности и стали сравнивать уже внутри них. Но тут появилась следующая проблема: группы получились маленькими. Статистически значимой разницы не нашли, а различия в активности всё равно сохранялись. В итоге численно показать влияние ошибок на retention не получилось.

Можно сказать, исследование закончилось ничем. Но мы поняли, что активность пользователей имеет очень высокий вес в любых сравнениях по возвращаемости. Плюс, не получили оснований считать, что ошибки помогают. Для меня здесь три вещи, которые стоит проверять в подобных сравнениях: - есть ли у одной группы больше возможностей столкнуться с событием просто потому, что она активнее - стали ли пользователи действительно сопоставимыми после сегментации - хватает ли данных, чтобы заметить разницу

В общем, если не нашли значимого эффекта и эффекта нет - это разные выводы. Иногда честный результат исследования это объяснить, почему имеющиеся данные пока не позволяют ответить на исходный вопрос и это абсолютно нормально.

P.S. 190 подписчиков, до 200 осталось чутка!!!