Почему высокая вовлечённость не означает хороший продукт

Один из самых устойчивых мифов в EdTech: если студенты много времени проводят в продукте (DAU — daily active users, ежедневно активные пользователи), значит, продукт хороший. На практике это часто ловушка, в которую попадают даже опытные команды.

Время в приложении, количество открытых уроков, частота заходов — это метрики активности (engagement), а не метрики результата (outcome). Продукт может демонстрировать отличную активность просто потому, что интерфейс запутанный и студенту приходится дольше искать нужный раздел, или потому что задание непонятно сформулировано и требует нескольких попыток. В обоих случаях цифры активности растут, а реальная польза для студента — падает.

Разница становится особенно заметной, когда сравниваешь два продукта с похожей активностью, но разным результатом на выходе: один даёт студенту навык, который тот применяет через полгода, другой — просто удерживает внимание красивым интерфейсом и геймификацией без переноса в реальные результаты.

Что стоит измерять вместо (или вместе с) активностью: 🔴 Применение навыка вне платформы (Application rate) — использует ли студент то, чему научился, за пределами курса, а не только внутри него 🔴 Скорость выполнения задания при повторной попытке — падает время, значит, растёт реальное понимание 🔴 Добровольное возвращение к материалу — доля студентов, которые пересматривают материал по своей инициативе, а не потому что обязаны по учебному плану 🔴 Completion rate (процент дошедших до конца) в связке с NPS (готовность рекомендовать) — высокий процент завершения при низкой готовности рекомендовать часто значит, что курс проходят через силу, а не с удовольствием

Опытные команды в EdTech всё чаще разделяют engagement-метрики и outcome-метрики специально — потому что оптимизация только под DAU и session length рано или поздно превращает продукт в источник приятного, но бесполезного времяпрепровождения. А для образовательного продукта это медленная, но реальная угроза его основной ценности.

#EdTech #ProductMetrics

Почему высокая вовлечённость не  означает хороший продукт | Сетка — социальная сеть от hh.ru