Автономное выполнение задач через управление интерфейсом в Minecraft

Модель GPT-4o продемонстрировала способность самостоятельно достигать поставленных целей в сложной среде, используя технологию управления компьютером. ИИ Astra буквально «видит» экран и управляет клавиатурой и мышью подобно человеку, принимая решения на основе визуальных данных без подсказок со стороны.

Такой подход открывает возможности для автоматизации работы с любым программным обеспечением, у которого нет программного интерфейса доступа, просто имитируя действия пользователя.

Ссылка: https://github.com/wz1119/Codex-Minecraft-Gameplay @AIandproducts