GitHub открыла тестовый доступ к управлению настольными приложениями на Windows и macOS. Функция доступна в Copilot CLI и отдельном приложении Copilot.

Агент читает информацию об элементах окна через операционную систему, а при необходимости смотрит скриншоты. Может вводить текст, прокручивать и перетаскивать элементы. Так он может работать с программами без API.

Я автоматизирую настольное ПО, поэтому начал бы с небольшого сценария: заполнить форму, сохранить запись и открыть её заново.

Критерий завершения задал бы заранее: в открытой записи должны сохраниться все введённые значения. Проверка должна подтвердить это после повторного открытия формы.

GitHub отдельно указывает, что задержки загрузки и смена состояния окна могут приводить к ошибочным действиям. Например, агент может выбрать другой элемент или повторить уже выполненный шаг.

Для пробного прогона я бы задал правило: дождаться появления сохранённой записи. Если её нет, остановиться и сохранить снимок окна. По нему можно разбирать, на каком состоянии приложения оборвался сценарий.

#GitHub #Copilot #ИИ #автоматизация #тестирование