🌐 Ссылка на источник

В основе системы лежит нейронная сеть, которая позволяет отказаться от традиционных подходов, где для управления роботом требовались точные и сложные модели или множество датчиков. Это особенно актуально для мягких или нестандартных роботов, чью механику сложно описать математически. Технология NJF объединяет два ключевых аспекта: трехмерную геометрию робота и его чувствительность к управляющим сигналам. Для этого используется подход Neural Radiance Fields (NeRF) — техника, которая воссоздает 3D-сцены из набора 2D-изображений. NJF расширяет этот метод, изучая не только форму робота, но и так называемое поле Якоби — функцию, которая предсказывает, как любая точка на теле робота сдвинется в ответ на команду мотора. Процесс обучения выглядит так: робот выполняет случайные движения, а несколько камер записывают результат. Система анализирует эти данные и самостоятельно выявляет связь между командами и движениями. После завершения обучения для управления в реальном времени роботу достаточно одной камеры. Систему успешно протестировали на разных типах роботов, включая мягкую пневматическую руку и напечатанный на 3D-принтере манипулятор. Несмотря на успехи, у системы есть ограничения: она пока не может переносить знания с одного робота на другого и лишена тактильного или силового чувства.

🚀 Влияние:

Данная разработка может значительно снизить барьер для создания доступных и адаптивных роботов, поскольку основной проблемой в робототехнике часто является не аппаратное обеспечение, а сложность управления. NJF делает робототехнику более доступной, позволяя роботам работать в неструктурированных средах, таких как фермы или строительные площадки, без дорогостоящей инфраструктуры и сложных сенсорных систем. Это знаменует сдвиг парадигмы от прямого программирования роботов к их обучению через наблюдение и взаимодействие.

🧩 Технологии:

• Neural Jacobian Fields (NJF) • Neural Radiance Fields (NeRF) • Самообучение (self-supervised learning)