почему сотрудник выбрал именно этот путь. 🎥 Прочитал исследование о воспроизводимости метода task mining на основе скриншотов. Обычный task mining фиксирует клики и нажатия, но не отвечает на вопрос почему сотрудник выбрал ту или иную ветку процесса. Авторы добавляют к UI‑логу скриншоты и извлекают из них признаки, влияющие на решение. Проблема. Классический task mining даёт журнал действий: время, клики, нажатия, активные окна. По нему можно восстановить процесс и его варианты. Но нельзя понять причину выбора. Сотрудник обрабатывает обращение одним способом, если в письме есть вложение. Выбирает другой маршрут, если установлен флажок в веб‑форме. Принимает решение по тексту или доступности кнопки. Всё это видно на экране, но не попадает в журнал событий. Решение — ScreenRPA. Фреймворк из пяти этапов: 1. Наблюдение — запись действий и скриншотов одновременно. 2. Выделение признаков — распознавание кнопок, полей, чекбоксов, текста и их состояний. 3. Process discovery — построение модели процесса по обогащённому логу. 4. Decision discovery — для каждой точки выбора строится дерево решений, связывающее признаки на экране с выбранной веткой. 5. Возврат к скриншотам — правила привязываются к конкретным элементам интерфейса. Эксперимент. Проверяли на процессе обработки запросов на отказ от услуг телеком‑компании: 10 активностей, одна точка решения, четыре варианта. Решения зависят от наличия вложения в письме и состояния чекбокса. Подготовили 80 UI‑логов со скриншотами — от 75 до 500 событий. Главные выводы. · Подход воспроизводится: тенденции устойчивы, но точные метрики зависят от среды. · Крупные журналы дают лучший результат. Логи свыше 100 событий обычно позволяют корректно построить дерево решений. · На синтетических макетах метод работает лучше, чем на реальных скриншотах — там больше шума. · Детализированные признаки точнее указывают на элементы, но требуют больше ресурсов. · Полный прогон тестов занимал от 444 до 975 минут. Практический смысл. Task mining переходит от вопроса «какие действия выполняет сотрудник?» к более полезному: «по каким наблюдаемым условиям он выбирает тот или иной путь, и можно ли это правило формализовать для робота?» Например, вместо «в 60% случаев открывается одна форма, в 40% — другая» можно восстановить гипотезу: «если есть вложение — маршрут А; если вложения нет, но чекбокс согласия активен — маршрут B». Это позволяет использовать task mining не только для построения as‑is процесса, но и для извлечения логики решений при проектировании RPA. Ограничение. Запись и хранение скриншотов создают серьёзные требования к защите персональных данных и управлению доступом. 🔗 Assessing reproducibility in screenshot‑based task mining #TaskMining #RPA #ProcessMining #BPM #ScreenRPA #Эффективность