FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

Создание выразительной анимации лица на основе статичных изображений является сложной задачей. Ранее предложенные методы, основанные на явных геометрических признаках (например, ключевых точках лица или 3D-моделях), часто приводят к артефактам при перекладывании выражений и испытывают трудности с передачей тонких эмоций. Более того, существующие подходы плохо справляются с анимацией нескольких персонажей одновременно, поскольку особенности разных лиц мешают друг другу, усложняя процесс. Для решения этих проблем мы представляем FantasyPortrait — фреймворк на основе трансформеров-диффузоров, способный создавать высокореалистичные и эмоционально насыщенные анимации как для одного персонажа, так и для группы лиц. Наш метод включает стратегию обучения с расширением выражения, использующую скрытые представления для захвата динамики лица независимо от индивидуальных особенностей, улучшая способность модели отображать тонкие эмоции. Для управления несколькими персонажами мы разработали механизм маскированного перекрестного внимания, обеспечивающий независимую и согласованную генерацию выражений, эффективно предотвращая взаимное влияние признаков. Чтобы стимулировать исследования в этой области, мы предложили наборы данных Multi-Expr и ExprBench, специально разработанные для тренировки и тестирования многоперсонных портретных анимаций. Подробные эксперименты показывают, что FantasyPortrait значительно превосходит современные методы как по количественным метрикам, так и по качественным оценкам, особенно выделяясь в сложных сценариях перекладывания выражений и мультиличных ситуациях.

✅https://arxiv.org/pdf/2507.12956 ✅https://fantasy-amap.github.io/fantasy-portrait/ ✅https://github.com/Fantasy-AMAP/fantasy-portrait