Paper2Video

Paper2Video — это проект, разработанный учеными из Национального университета Сингапура, который автоматически создает видео-презентации на основе научных статей.

Система принимает входные данные в виде текста статьи, изображений и аудио, генерируя видео с слайдами, субтитрами и презентатором с помощью компонента PaperTalker.

Программа включает механизмы для оценки качества полученных видео, используя специальные метрики, которые анализируют представленные идеи и их доступность для различных аудиторий.

Проект оптимизирован для работы на графических процессорах NVIDIA A6000 и поддерживает интеграцию с искусственным интеллектом, включая модели GPT и Gemini, а также локально развернутые открытые кодовые модели.

Цель данной инициативы — улучшение видимости научных исследований и более эффективная передача знаний через качественные видео-презентации. Приветствуются отзывы и предложения по дополнению функционала.