IT и покер. Часть 5: Не верь на слово — посчитай
Была у меня знакомая - продакт-менеджер, звали Оксаной. Умная баба, чертовски умная. Могла наизусть цитировать Канемана, разбиралась в теории ограничений, а однажды на спор съела хинкали с закрытыми глазами и не обляпалась. И вот эта самая Оксана, человек с двумя высшими и аналитическим складом ума, принимала решения... как бы это помягче... интуитивно. «Я чувствую, что эта фича выстрелит», - говорила она. И в её глазах было столько искренней веры, что спорить не хотелось. Хотелось пойти и сделать.
А потом фича не выстреливала. Или выстреливала, но не туда. Или выстреливала, но в тот момент, когда её уже выпилили из бэклога и закопали где-то между задачами на рефакторинг и тикетом «обновить лицензию на Jira».
Знакомо? Вот то-то и оно. Магия чисел, или почему калькулятор не врёт (а интуиция — врёт)
Я, честно говоря, долго сопротивлялся. Лет, наверное, десять. Ну как сопротивлялся — я же умный, я же опытный, я же «чувствую рынок». Знаете, чем заканчивается это «чувствую рынок»? Правильно. Разбитым корытом, седыми волосами и разговором с CFO, в котором ты пытаешься объяснить, почему три миллиона рублей ушли в песок, но зато мы «получили ценный опыт».
Опыт, конечно, бесценен. Но зарплату им не выплатишь.
И вот однажды — не помню точно, когда именно, кажется, после очередного такого разговора, где я сидел красный как рак и мечтал провалиться сквозь офисный пол, — я открыл Excel. И начал считать. Не «прикидывать», не «оценивать на глазок», а именно считать. С цифрами, формулами, вероятностями. Скучно? Ещё как. Зато честно.
Меня иногда спрашивают: «Вот ты всё про EV да про EV. Объясни по-человечески, без этих твоих умных слов». Объясняю. По-человечески. Представьте, что вы играете в напёрстки. Ну, помните, три стаканчика, шарик, всё такое. Только вы не лох уличный, а менеджер продукта, и вместо шарика — фича, вместо стаканчиков — гипотезы, а вместо напёрсточника — рынок. И вот вы стоите перед выбором: вкладывать в эту фичу или нет. Допустим, разработка стоит 500 тысяч. Если фича «зайдёт» — принесёт два лимона. Вероятность успеха — по вашим прикидкам, процентов двадцать. Негусто, да? Но два лимона — это два лимона.
Считаем: (0.2 × 2 000 000) — (0.8 × 500 000) = 400 000 — 400 000 = 0
Ноль. Ровно ноль. Ни прибыли, ни убытка. Просто «ничего». Точка безубыточности. И вот тут начинается самое интересное: интуиция говорит «давай, попробуем», а математика говорит «зачем?».
Это как с тем самым напёрстком: если ты не знаешь, где шарик, и ставки равны, какой смысл вообще играть? Только если тебе нравится процесс. Ну или если ты мазохист.
А теперь другая ситуация. Та же фича, те же 500 тысяч, но вероятность успеха — не 20%, а 40%. И приносит она не два лимона, а полтора.
(0.4 × 1 500 000) — (0.6 × 500 000) = 600 000 — 300 000 = +300 000
Плюс триста тысяч. Уже интереснее, да? Хотя сумма «на бумаге» меньше — полтора лимона против двух. Но ожидание-то выше. Потому что вероятность другая.
Вот это и есть EV. Математическое ожидание. Средний результат, который вы получите, если будете принимать такое решение много раз. Не «повезёт/не повезёт», а именно среднее. И если вы управляете продуктом, а не играете в казино, вы обязаны думать именно в этих категориях.
Тут меня часто перебивают: «Погоди, а чем это отличается от ROI? Мы же всё время считаем ROI, это же то же самое!» Нет. Не то же самое. И разница — принципиальная.
ROI — это то, что вы уже получили. Или получите, если всё пойдёт по плану. Это ретроспектива или, в лучшем случае, проекция. Формула простая: (доход — затраты) / затраты × 100%. Всё. Никаких вероятностей, никаких развилок. Вы взяли кредит под 20%, вложили в рекламу, получили 50% прибыли. ROI = 150%. Красиво, понятно, банк доволен.
EV — это про будущее, в котором ничего не известно. Это про вероятность. Это про то, что может случиться, а может и нет. И это, чёрт возьми, гораздо честнее.
Вот смотрите. Вы запускаете новую фичу. ROI вы посчитаете потом, когда фича уже отработает своё. А EV вы считаете сейчас, до того как написан хоть один тест-кейс. И е