MindJourney: Test-Time Scaling with World Models for Spatial Reasoning

Пространственное мышление в трехмерном пространстве занимает центральное место в человеческом познании и незаменимо для решения таких реальных задач, как навигация и манипулирование. Однако современные модели визуального языка (VLM) часто сталкиваются с трудностями при решении таких простых задач, как прогнозирование того, как будет выглядеть сцена после эгоцентрического движения: они воспринимают 2D-изображения, но не имеют внутренней модели динамики 3D. Поэтому мы предлагаем MindJourney, платформу масштабирования во время тестирования, которая предоставляет VLM эту недостающую возможность, связывая ее с управляемой моделью мира, основанной на распространении видео. VLM итеративно рисует краткую траекторию движения камеры, в то время как модель мира синтезирует соответствующий вид на каждом шаге. Затем VLM анализирует данные, собранные в ходе интерактивного исследования. Без какой-либо тонкой настройки наш MindJourney обеспечивает повышение производительности в среднем на 8% в репрезентативном тесте пространственного мышления SAT, демонстрируя, что сопряжение VLM с мировыми моделями для масштабирования во время тестирования обеспечивает простой и понятный путь к надежному 3D-мышлению. Между тем, наш метод также улучшает виртуальные машины для вывода результатов во время тестирования, обученные с помощью обучения с подкреплением, что демонстрирует потенциал нашего метода, использующего мировые модели для масштабирования во время тестирования.

✅https://arxiv.org/pdf/2507.12508 ✅https://umass-embodied-agi.github.io/MindJourney/ ✅https://github.com/UMass-Embodied-AGI/MindJourney