На каком уровне зрелости ваша компания: самодиагностика
Самый честный вопрос, который стоит задать себе перед любым разговором про ML: а дорос ли до него бизнес? Я много работаю с данными и вижу одну и ту же картину. Компания хочет прогнозы, а у неё данные лежат в пяти системах и не связаны между собой. Проект стартует, деньги тратятся, результата нет. Причём алгоритмы тут ни при чём — ломается всё на организационной готовности. Есть простой способ понять, где вы. Классическая модель зрелости Gartner делит аналитику на пять ступеней — по типу вопроса, на который компания умеет отвечать.
1. Описательный: «что произошло». Есть дашборды и отчётность. О проблеме узнаёте постфактум, без объяснения причин. 2. Диагностический: «почему произошло». Данные из разных систем связаны, можно копать вглубь. На вопрос «почему упало» команда отвечает за день с цифрами, а не строит догадки на планёрке. 3. Предиктивный: «что произойдёт». Здесь начинается ML. Есть работающие в проде модели, чьи прогнозы реально влияют на решения, а не лежат в презентации. 4. Прескриптивный: «что делать». Система рекомендует действие: пересчитать закупку, изменить цену, запустить удержание. Человек занимается исключениями. 5. Когнитивный: «чего мы ещё не знаем». Система сама находит закономерности, о которых её не спрашивали, и часть решений исполняет автономно.
Отрезвляющая статистика: по данным Gartner и McKinsey, описательной аналитикой владеют около 90% организаций, до диагностики дотягиваются порядка 30%, а прескриптивной в масштабе достигают менее 10%. Доли накопительные — то есть примерно семь компаний из десяти дальше первой ступени так и не уходят.
Быстрая самодиагностика. Отвечайте честно «да» или «нет»:
Блок А. Основа (описательный уровень) 1. У вас есть регулярная отчётность по ключевым показателям, которой доверяет руководство? 2. Данные о продажах, клиентах и операциях хранятся в системах, а не в личных файлах сотрудников? 3. Вы можете получить цифры за прошлый месяц, не занимаясь ручным сведением неделю?
Блок Б. Связность (диагностический уровень) 1. Данные из разных систем (CRM, учёт, касса, сайт) можно связать между собой по общим ключам? 2. Есть человек или команда, к которым идут с вопросом «почему упало», и они реально отвечают? 3. Вы доверяете качеству своих данных настолько, чтобы принимать на их основе решения о деньгах?
Блок В. Готовность к ML (предиктивный уровень) 1. У вас накоплена история минимум за 1–2 года по той задаче, которую хотите прогнозировать? 2. Событие, которое хотите предсказывать, повторяющееся и измеримое (уход клиента, продажа, поломка), а не уникальное? 3. Вы знаете, сколько стоит ошибка — во что обходится непредсказанный отток или неверный прогноз спроса? 4. Есть процесс и люди, которые будут действовать по прогнозу, когда он появится?
Блок Г. Операционная интеграция (прескриптивный уровень) 1. Рекомендации системы попадают в рабочие процессы автоматически, без ручного переноса? 2. Есть регламент, кто и как проверяет решения, предложенные системой?
Блок Д. Автономность (когнитивный уровень) 1. Часть решений исполняется системой без подтверждения человеком в каждом случае? 2. Есть мониторинг качества моделей и процесс переобучения, когда они начинают деградировать? 3. Система способна сама выявлять аномалии и закономерности, о которых её не спрашивали? Ваш уровень — последний блок, где везде «да». Если провал в основе, начинать нужно с порядка в отчётности, а не с ML.
Что важно понимать про переходы
Перепрыгнуть ступень, просто купив хороший софт, нельзя — каждая требует своих данных, навыков и процессов. С первого на второй — скучная интеграционная работа: связать данные по общим ключам, навести порядок в справочниках. Самый недооценённый этап, но именно он определяет, взлетит ли остальное. Со второго на третий — не стройте платформу. Возьмите одну задачу с понятной ценой ошибки, посчитайте ROI до старта, запустите пилот с A/B-замером против текущего способа решений. И заранее договоритесь, кто будет действовать по прогнозу: прогноз, на который никто не реагирует, ценности не создаёт.
Редко услышишь от продавцов: карабкаться до верха нужно не всем.
· 26.07
Полезная рамка. В ML чаще ломается не модель, а ожидание, что она спасет плохие данные и неясную метрику. Я бы перед стартом фиксировал decision point, source of truth и цену ошибки - тогда сразу видно, где ML реально нужен. Вы это тоже в чек-листе держите?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 26.07
Здравствуйте, спасибо за комментарий. Решил не включать это в статью, но в реальных задачах, конечно же, это надо учитывать.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён