🤖 Роботу доступна только картинка экрана. Как автоматизировать работу?
На Sherpa Day 2026 Алексей Давыденков, руководитель отдела внедрения Sherpa Robotics, провёл практический мастер-класс по компьютерному зрению в Sherpa Designer.
💡 Что делать, если у робота нет доступа к элементам интерфейса, а есть только изображение экрана?
Такая ситуация часто возникает при работе через RDP, Citrix, если политики удалённого допуска запрещают установку sherpa-плагинов для RDP/Citrix, с протоколами без плагинов такими как VNC, Базис, а также с устаревшими и нестандартными приложениями.
Решение — Sherpa Computer Vision. Технология использует OCR и модели искусственного интеллекта, позволяя роботу распознавать кнопки, поля, таблицы и другие элементы интерфейса непосредственно по изображению.
🔹 Нажимать кнопки и выполнять последовательности действий. 🔹 Заполнять поля и извлекать данные. 🔹 Работать с чекбоксами и выпадающими списками. 🔹 Распознавать таблицы и передавать информацию для дальнейшей обработки.
🚀 От теории — к реальной автоматизации!
Во время мастер-класса Алексей продемонстрировал, как робот самостоятельно заполняет закупочную заявку через RDP: получает данные из Excel, выбирает организацию и поставщика, заполняет необходимые поля и сохраняет документ.
И всё это — имея доступ только к изображению удалённого рабочего стола!
При этом Sherpa Computer Vision может работать локально, без обязательного подключения к облаку и без мощных видеокарт.
🎥 Смотрите полную запись мастер-класса и узнайте, как автоматизировать даже самые сложные интерфейсы:
https://vkvideo.ru/video-199871630\_456239153
🔥 А уже совсем скоро мы пригласим вас на Sherpa Demo Day!
Это будет возможность ещё глубже познакомиться с продуктами экосистемы Sherpa Robotics, увидеть их возможности в действии и разобраться в практических сценариях применения.
Вас ждут живые демонстрации, реальные примеры автоматизации и возможность задать вопросы нашим экспертам.
📢 Следите за анонсами! Скоро расскажем о программе, дате и формате Sherpa Demo Day.