Сбер выложил Kandinsky Avatar 1.0 в open source. Теперь любой может генерить говорящие аватары без подписок и API-ключей.

На вход фото, аудио и текст сцены. На выходе ролик до 60 секунд (24 fps). Модель синхронизирует артикуляцию, мимику и жесты. Обучали на 1 млн+ видеофрагментов на 95 языках, так что локализация звучит адекватно, а не как у роботов из 2010-го.

Две версии:

• Pro: HD-качество. Сбер заявляет паритет с HeyGen IV.
• Lite: SD-качество. Запускается на домашнем железе.

Лицензия позволяет коммерческое использование.

Ссылка: https://huggingface.co/kandinskylab/Kandinsky-S2V-1.0-Pro-distill-Diffusers