☕️ Coffee Break: как мы гоняли космический корабль через нейросети…

Приветствую, дорогой читатель!

Недавно мы устроили себе небольшой эксперимент: попробовали современные нейросети для генерации 3D-моделей из 2D-артов. Что-то похожее проводили годом ранее, но результаты были неутешительными, а получавшиеся 3D-модели непригодными даже к полишингу - на выброс, да и только

Концепт тест

В этот раз мы решили взять для теста работу художника John Wallin Liberto и его концепт космического корабля. Выбрали стилизацию с целью получить что-то приемлемое хотя бы для дальнейшего применения в прототипах и быстрых демонстрациях на ранних этапах прототипирования заместо пропсов. Возможно ли создать что-то вменяемое и пустить в работу за час-два? Решили это выяснить и прогнали данный скриншот через его через нейросеть Hunyuan3D-2 от Tencent.

Первая попытка в Hunyuan3D-2

Первый блин, как всегда, «комом». Hunyuan3D-2 довольно уверенно строит 3D-модель из одной картинки. Сначала результат обнадёжил - получился цельный объект, вполне узнаваемый по форме.

Но у этой версии был ряд особенностей, начиная от сложной сетки: первая модель без текстурирования насчитала 40000 вершин, и при этом выглядела так, как будто бы её невозможно было исправить. Но мы обнаружили, что в новом обновлении появился режим ретопологии. Решили проверить…

После упрощения сетка стала куда более вменяемой, вот только вершин получилось, Внезапно, более 100 000! Это огромный объём для одного маленького сПЕЙСшипа! Дорого!

Так же была и другая проблема - текстура. Здесь проявился главный минус. Нейросеть хорошо передавала цвета и общую стилистику, но полностью «теряла» буквы и текстовые элементы. Надпись «MOKOTOK» превратилась в нечто абстрактное. Для концептов ок, для финальной модели никуда не годится.

Предварительный вывод: инструмент работает, но ручное доведение под большим вопросом.

В продакшн пайплайн интегрировать модель сложно, если речь идёт о мобильных или VR-проектах, где счёт идёт буквально на полигоны.

Вторая попытка: Tripo3D

Раз не справляется одна, пусть и не искусственная, голова, решили взять на вооружение вторую. Возможно довести модель в текущей версии всё таки возможно? Переключились на Tripo3D и попробовали его режим ретопологии и текстурирования - и тут результат оказался гораздо интереснее.

Оптимизация сетки: модель вышла на удивление аккуратной: всего на 7785 вершин, при этом качество сетки в значительной степени возросло, а визуал практически не изменился. Это уже в разы ближе к игровым стандартам!

Текстурирование и развёртка: Tripo3D умеет не только строить сетку, но и сразу делать UV-развёртку и накладывать текстуры. И здесь он обходит Hunyuan3D-2: стилистику и детали передаёт аккуратнее, хотя текст всё равно требует доработки.

Гибкость в пайплайне: результат оказался таким, что после минимальной доработки его можно было спокойно импортировать в Unity и использовать в качестве пропса. Конечно же развёртку мы тоже добавляем сюда, чтобы вы могли посмотреть, как, в целом, выглядит текстура после того, как над ней поработала Tripo3D.

Финальный штрих

Немного изучили текстуру, обнаружили шумы, искажения цветовые по спектру и неоднородности. Эти детали намеренно опускаем, чтобы не раздувать нашу заметку, всё-таки это кофе-брейк, а не научный разбор всех деталей.

Подчистили текстуру в Photoshop (убрали шумы и поправили искажения). Перепроверили развёртку. Импортировали модель в Unity. По итогу мы смогли получить лёгкий, аккуратный и вполне рабочий игровой пропс! Кто-то наверняка будет использовать это в ассетах, так что будьте бдительны - технология ещё не готова, хотя прогресс на лицо и значительный.

Вывод?

Нейросети очень быстро прогрессируют. Если в прошлом году подобные модели больше походили на «глиняные заготовки», то сейчас они уже реально применимы в пайплайне для быстрых прототипов здесь и сейчас, но пока всё ещё не годятся для полноценного проодакшена.