Рассказываю про важность продуктового подхода при работе с большим количеством пользователей. Выделим часть про проверку гипотез, необходимость подтверждения экспериментов перед их раскаткой на большое количество юзеров.
Рассмотрим на примере геймдева. В центре внимания будут «Мир Танков» и «Сталкрафт», активным пользователем которых я являюсь.
Начнём с танков. Проблема, которую они пытаются решить, — новый контент, для того чтобы сохранять интерес и оставлять объём активной аудитории, которая является NorthStar метрикой. Для этого были придуманы огнемётные танки. Это не выдумка, они имеют реальный прототип, и в целом идея была неплохая.
Однако их релиз — самый большой провал в лестовской истории танков, потому что ребята выпустили лютую имбу, которая разрывала всех. Что пошло не так? Всё на этапе тестирования и сбора метрик. На релизе разработчики уверяли, что собрали достаточное количество метрик и точно понимают, что именно они добавили и как оно будет работать. Меньше чем через месяц разработчики написали официальное письмо — что техника не в балансе, и даже убрали её из клановых активностей.
Очевидно, что проблема была в недостаточной продолжительности тестирования фичи. Или неправильном подходе к оценке метрик. А всё потому, что игра не тестировалась на реальных пользователях. Да, есть открытый тест, в котором участвует 2-3% аудитории, но там не собираются данные, приближенные к реальности, а тестировщики внутри команды — это не реальные пользователи. Но проблема не столько в релизе, сколько в реакции. Несмотря на то, что команда сама сказала, что продукт получился не такой, как ожидали, в основных активностях танк мучал всех почти 3 месяца. И за это время они не были ребаланснуты или ограничены. А когда в итоге это было сделано, это было сделано так, что такие танки стали самыми слабыми в игре и в них перестали играть вообще.
Таким образом, было потрачено огромное количество ресурсов на проектирование и внедрение фичи, которая сначала всем испортила жизнь, а теперь ей никто не пользуется. И всё из-за одного этапа проверки эксперимента.
Давайте другой пример — «Сталкрафт». Здесь ситуация другая, потому что ребята не трогали игровые механики, а замахнулись на механику боевого пропуска. Честно — непонятно зачем, потому что сама механика есть почти во всех играх и работает как часы, просто, понятно и интуитивно. Но у ребят были основания. Они выпустили огромный материал про то, что они проанализировали все метрики и сценарии и поняли, что текущий БП заставляет людей больше играть и меньше получать. И поэтому они приняли решение переработать пропуск полностью, и, судя по результату, задача была сделать так, чтобы это было не похоже на старую механику.
Что пошло не так? Главное — не принимать решения только на основе метрик. Они важны, но в совокупности с исследованием болей и пользователей. Второе — когда ты меняешь механику целиком, необходимо проводить много решенческих интервью, демо и, в данном случае, UX-исследование. А этого сделано не было.
Итог. Огромная проблема с UX решением. Множество игроков просто не поняли, как всё работает и куда нажимать. И главное — новый БП стал фармить ещё меньше. Для сравнения, за 2 часа игры я фармил 20-30 этапов, а стал 15.
Проблема и в реакции. Вместо отката фичи или улучшения (баланс очков, смена UX), ребята за 3 дня выкатили НОВУЮ, третью версию БП, в котором отказались от новых фич, но всё равно сделав непохожую на старую. Эта версия имеет проблемы, описанные выше, но помимо прочего имеет много логических дыр и багов, потому что за 3 дня нельзя продумать все сценарии. Как итог волна негатива и всё из-за важных продуктовых этапов, которые были просто пропущены.
Выводы простые — эксперименты и общение с пользователями нельзя недооценивать. Так же как и объём тестирования гипотез. А если что-то пошло не так необходима достаточно быстрая, но правильная реакция на ситуацию.
