Kandinsky Avatar создаёт видео из фото и голоса
3 ноября Сбер открыл Kandinsky Avatar 1.0: модель создаёт говорящий ролик из изображения, записи голоса и короткого описания сцены. Она подстраивает движения губ, мимику и жесты персонажа под переданную речь.
Голос нужно подготовить заранее. Как объясняет Сбер, Kandinsky Avatar сама его не синтезирует и не клонирует. Если вы хотите изменить слова ведущего, сначала понадобится новая аудиозапись.
Представьте учебный пример: для короткой видеоинструкции нужен виртуальный ведущий, который объясняет первый шаг работы с сервисом. Вы записываете голосом короткую реплику, выбираете изображение и описываете сцену. В описании можно задать настроение персонажа. Движения и выражение лица в готовом ролике всё равно придётся оценить после генерации.
Начните с короткого текста и прочитайте его вслух до записи. Если фраза звучит тяжело, сократите её или разделите на две. Так у вас будет меньше поводов переделывать аудио после генерации ролика.
Разработчикам доступны код и файлы моделей для использования в собственных сервисах. В репозитории проект называется Kandinsky S2V 1.0, семейство включает версии Lite и Pro. По сообщению Сбера, добавление модели в его собственные сервисы ещё планируется.
Для самостоятельного запуска потребуется мощная видеокарта. В текущей инструкции проекта указана NVIDIA с 48 ГБ видеопамяти или больше, для видео высокой чёткости указано 80 ГБ. Там описан и способ снизить расход памяти, при котором в кадре могут быть видны границы участков изображения. Перед установкой сверяйте требования выбранного варианта модели и способа запуска.
Для первой пробы возьмите изображение и аудио, которые вы вправе использовать для такой анимации. Авторы репозитория отдельно просят получать согласие изображённого человека и не выдавать результат за подлинную запись его выступления. В учебном ролике можно прямо написать, что ведущий создан с помощью ИИ.
Просмотрите весь результат со звуком. Проверьте совпадение движений губ с речью, лицо при поворотах головы, жесты и фон.
Для какой рабочей видеоинструкции вам пригодился бы виртуальный ведущий?
