А давайте с вами обсудим такую штуку.

Вот есть есть онлайн-школа (а может и не онлайн), которая учит людей какому-то прикладному навыку. Делать презентации, писать тексты, кодить на Пайтоне и так далее.

Через эту школу прошли тысячи учеников.

И в своем маркетинге школа делает упор на кейсы студентов. Мол, вот Петя, он отучился и ушел работать в Яндекс, а вот Маша, она после нашего курса увеличила доход в 2 раза.

И таких кейсов у школы несколько десятков.

И вот вопрос. А действительно ли это показывает крутость школы?

Если на выборке в несколько тысяч человек пара десятков получили крутой результат — это показывает школу с лучшей стороны? Доказывает, что она эффективна?

Или не показывает ничего?

Потому что если взять выборку из тысяч человек, не учившихся в ней, среди них тоже найдется пара десятков историй успеха.

Как в научных исследованиях — смотрим не только на показатели тестовой выборки, но и сравниваем их с показателями контрольной группы, которая нигде не училась.

Как вы считаете?