RoboBrain 2.0: Модель зрения и языка следующего поколения, объединяющая воплощенный ИИ для продвинутой робототехники

🌐 Ссылка на источник

RoboBrain 2.0 — это прорыв в области воплощенного ИИ, то есть систем, которые позволяют роботам воспринимать, рассуждать и действовать в реальном мире. Модель имеет унифицированную мультимодальную архитектуру, которая связывает кодировщик изображений высокого разрешения с языковой моделью. Это позволяет ей одновременно обрабатывать разнообразные данные: изображения, видео, текстовые инструкции и графы сцен (структурированные описания объектов и их взаимосвязей). Система доступна в двух вариантах: быстрая версия на 7 миллиардов параметров и более мощная на 32 миллиарда. Обучение модели проходит в три этапа. Сначала закладываются базовые способности к пониманию пространства и языка. Затем модель дообучается на реальных видеоданных для выполнения конкретных задач, например, анализа сцены с точки зрения робота. Наконец, интегрируется логика "Цепочки рассуждений" (Chain-of-Thought), которая учит модель разбивать сложные задачи на последовательные шаги для долгосрочного планирования и координации нескольких роботов. Вся система работает на платформе FlagScale, обеспечивающей стабильность и эффективное использование ресурсов при обучении. RoboBrain 2.0 демонстрирует высокую производительность в таких задачах, как предсказание возможных действий с объектами, точное нахождение объектов по текстовому описанию, планирование траектории движения и совместная работа нескольких роботов.

🚀 Влияние:

RoboBrain 2.0 устанавливает новый стандарт для воплощенного ИИ. Его модульная, масштабируемая архитектура и открытый исходный код способствуют инновациям в сообществе исследователей робототехники и ИИ. Модель предоставляет мощную основу для решения сложных пространственных и временных задач в реальном мире, ускоряя развитие в таких областях, как бытовые роботы-помощники, промышленная автоматизация и логистика.