Как тестировать и оценить эффект от внедрения рек системы
рекомендательных систем (DSS) в управления технологическим процессом. Ответ: трансфер ответственности и А/В тест.
Похоже ситуация сильно улучшается и бизнес сначала задает вопрос разработчикам, какая «полезность в деньгах» от внедрения ПО, а в частности ML-систем (DSS) для управления производством/технологическим процессом, а потом заказыват или покупает такое ПО.
Давайте разберемся в возможных шагах и инструментах такой оценки экономического эффекта на EBITDA:
1. Какой базовый уровень эффективности/ производительности?
Важно определить средний или медианный уровень производительности в процессе или технологии, посмотреть, какие факторы и выбросы сильнее всего на него влияли. Это можно сделть инструментами datamining / data analysis.
2. Определить ключевую метрику, которую должна улучшить рекомендательная система (DSS) и определить сценарии управления или влияния на нее.
Без точного описания процесса управляения технологией, рычагов влияния и ролей людей применения рекомендательных систем нецелесообразно - вы будете пытаться управлять хаосом.
3. Тестирование рекомендательной системы (DSS A/B test) Об этот этап разбивается большинство решений, которые переходят в промышленную эксплуатацию. И подход TestDrivenSDLC позволяет строить более устойчивые системы, которые дожны учитывать все возмущения и ограничения и давать ценность.
В непрерывном производстве или технологии без дублирующих паралелльных производственных линий, очень важно определить дизайн эксперимента и тестирования со статически значимыми изменениями и способоми оценки «Было» к «Стало».
Сделайте A/B-test для такого производства: а. Опеределите вариативности процесса и их длительности б. Разбейте на нужно кол-во интервалов и факторов влияния на параметры с. Зафиксируйте критерии переключения и фиксации метрик.
Например, для непрерывного химического производства 24/7 с тремя сменами сотрудников, которые управляют технологией я делал такой дизайн эксперимента (см картинку).
4. Осознание трансфера ответственности. Определите до старта кто несет отвественность и за какие метрики, где границы действия алгоритма и его учителя/наблюдателя. Что делать в нештатных ситуациях и как обеспечить точность алгоритма без «человеческого фактора».
Все это выстраивается в систему доставки ценности бизнесу от рекомендательных систем.
Если хотите больше деталей или провести экспресс аудит вашей технологии, пожалуйста, напишите ваш запрос или контакты в комментариях.