🤖 Роботу доступна только картинка экрана. Как автоматизировать работу?

На Sherpa Day 2026 Алексей Давыденков, руководитель отдела внедрения Sherpa Robotics, провёл практический мастер-класс по компьютерному зрению в Sherpa Designer.

💡 Что делать, если у робота нет доступа к элементам интерфейса, а есть только изображение экрана?

Такая ситуация часто возникает при работе через RDP, Citrix, если политики удалённого допуска запрещают установку sherpa-плагинов для RDP/Citrix, с протоколами без плагинов такими как VNC, Базис, а также с устаревшими и нестандартными приложениями.

Решение — Sherpa Computer Vision. Технология использует OCR и модели искусственного интеллекта, позволяя роботу распознавать кнопки, поля, таблицы и другие элементы интерфейса непосредственно по изображению.

🔹 Нажимать кнопки и выполнять последовательности действий. 🔹 Заполнять поля и извлекать данные. 🔹 Работать с чекбоксами и выпадающими списками. 🔹 Распознавать таблицы и передавать информацию для дальнейшей обработки.

🚀 От теории — к реальной автоматизации!

Во время мастер-класса Алексей продемонстрировал, как робот самостоятельно заполняет закупочную заявку через RDP: получает данные из Excel, выбирает организацию и поставщика, заполняет необходимые поля и сохраняет документ.

И всё это — имея доступ только к изображению удалённого рабочего стола!

При этом Sherpa Computer Vision может работать локально, без обязательного подключения к облаку и без мощных видеокарт.

🎥 Смотрите полную запись мастер-класса и узнайте, как автоматизировать даже самые сложные интерфейсы:

https://vkvideo.ru/video-199871630\_456239153

🔥 А уже совсем скоро мы пригласим вас на Sherpa Demo Day!

Это будет возможность ещё глубже познакомиться с продуктами экосистемы Sherpa Robotics, увидеть их возможности в действии и разобраться в практических сценариях применения.

Вас ждут живые демонстрации, реальные примеры автоматизации и возможность задать вопросы нашим экспертам.

📢 Следите за анонсами! Скоро расскажем о программе, дате и формате Sherpa Demo Day.