Недавно прислали мне ссылку на рассуждения о методе принятия бизнес-решений на основе данных. Меня сильно рассмешила фраза о том, что на определенном этапе необходима постоянная генерация инсайтов. Если убрать за скобки вопрос, сколько вообще инсайтов можно найти в реальных данных, то интересно разобрать саму суть инсайтов.

Вообще, терминология не сложилась. Данные – это то, что можно найти в записной книжке или на сервере. Факты или информация – это те самые тенденции, взаимосвязи и закономерности. А инсайты – это моменты, когда кричат «Эврика!» и хотят что-то изменить в бизнесе.

Если подумать, то феномен инсайтов в бизнесе – это способность руководства компании получать новую информацию, изменяющую их картину мира, и действовать, учитывая и старую, и новую информацию. В научном мире такая способность сформулирована в виде теоремы Байеса. Тот же Эдвард Торп, который обыграл казино в блэкджек, использовал именно этот подход. Старая информация – это минимальная вероятность игрока проиграть. Новая информация – вышедшие пятёрки или десятки, которые увеличивают вероятность игрока выиграть.

Немногие знают, но в современном машинном обучении тоже используют методы байесовской статистики. Я много раз приводил примеры на канале: Physics Informed Machine Learning, SINDy, да и вообще любые регуляризации. Идея проста: у нас есть данные и нам нужно извлечь из них некую функцию. Это «старая» информация. Но нам нужна не любая функция, а так которая соответствует известным нам физическим законам или использующая минимальное количество параметров и т.д. Всё, что мы знаем об изучаемой системе. Это «новая» информация, которая делает результаты гораздо практичнее.

Обратите внимание, что в статистике новая информация влияет только на оценку вероятности события. В машинном обучении новая информация влияет на форму функций-решений – мы дополнительно учитываем наши знания физических процессов, которых напрямую нет в изучаемых нами данных.

А что в бизнесе? Ну, можно собрать много данных, постоянно генерить гипотезы (дэшборды, графики), проверять их и очень редко кричать «Эврика» и, словив инсайд, пытаться что-то изменить в бизнесе. А можно при анализе данных использовать регуляризирующую информацию, которой в данных нет: как работать с ключевыми клиентами в B2B, как запускать новый продукт, как создавать формат магазина и т.д. Может, в этом случае инсайтов будет меньше, но компания сразу будет искать оптимальное управление для повышения своей выручки и прибыли. К сожалению, на двухмесячных курсах такому не учат.