Вы не знаете p-value)
Вы внедрили AI-систему для отбора гениев. Точность 95%.
Процесс: 1. Кандидат прошёл тест. 2. Результат: «Гений». 3. Вы даёте оффер с зарплатой выше рынка. 4. Через месяц человек проваливает простейшую задачу. 5. Вы в ярости: тест же врал! Нет. Вы не знаете p-value)
Детектор гениев с P-value 95% это: — Распознает реального гения в 95% случаев. — В 5% случаев называет гением обычного человека. Вроде круто! Нет, статистика - ещё не всё.
Запускаем на 100 000 кандидатах: 1) Настоящих гениев среди толпы — лишь 0.1%. То есть 100 человек. Тест находит 95 гениев из 100. Отлично. 2) Остальные 99 900 — обычные люди, среди которых он ошибается в 5% случаев, а это 4 995 человек! 3) HR пьёт шампанское: гении с неба падают. CEO рвёт на себе волосы из-за нервного срыва.
Мышление профессионала:
Шаг 1. Сколько людей получили вердикт «гений»? Настоящие гении, которых тест нашёл: 95. Обычные люди, которых тест назвал гениями по ошибке: 4 995. Итого: 95 + 4 995 = 5 090 человек.
Шаг 2. Сколько из них настоящие гении? Только 95.
Шаг 3. Какова реальная вероятность, что человек с вердиктом «гений» — действительно гений? Делим настоящих гениев на всех, кого тест назвал гениями: 95 ÷ 5 090 = 0.01866… ≈ 1.87%.
Итог: Тест кричит «Гений!», а прав оказывается реже чем в 2 случаях из 100. Потому что само явление редкое. А тест, при всей точности, просеивает гигантскую массу обычных людей и накапливает ошибки.
Инсайт: Тест не даёт готовый бизнес-ответ. Он - лишь сигнал: «Парень может быть неплох, проверьте его дополнительно». Именно понимание статистики и теории вероятностей вместе — не по отдельности, а в связке — делает тебя на порядок выше. Ты не просто применяешь инструменты. Ты знаешь их способности и какую пользу принесёт каждый из них.
