FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

Создание выразительной анимации лица на основе статичных изображений — сложная задача. Традиционные подходы, основанные на явных геометрических признаках (например, ключевых точках лица или 3D-моделях), часто приводят к артефактам при переносе эмоций между лицами разных людей и испытывают трудности с передачей тонких эмоциональных нюансов. Более того, современные методы плохо справляются с анимацией нескольких персонажей одновременно, поскольку характеристики лиц отдельных индивидов мешают друг другу, усложняя процесс.

Чтобы преодолеть эти ограничения, мы предлагаем концепцию FantasyPortrait — фреймворк на основе диффузионных трансформеров, позволяющий создавать высокореалистичные и эмоционально насыщенные анимации как для одного персонажа, так и для группы героев. Наш подход включает стратегию обучения с дополнительным вниманием к выражениям лица, использующую скрытые представления для захвата динамики мимики независимо от индивидуальных черт конкретного лица, что помогает точнее передавать тонкие эмоции. Для управления несколькими персонажами одновременно мы разработали механизм маскированного перекрестного внимания, гарантирующего независимую, но скоординированную генерацию выражения каждого героя, эффективно предотвращая взаимное влияние характеристик.

Для продвижения исследований в этой области мы создали специализированные наборы данных Multi-Expr и ExprBench, предназначенные для тренировки и оценки мультихарактерных портретных анимаций. Широкий спектр экспериментов показал значительное превосходство нашего подхода над современными методами как по количественным показателям, так и по визуальному качеству, особенно в сложных сценариях переноса эмоций и многоперсонажной анимации.

✅https://arxiv.org/pdf/2507.12956 ✅https://fantasy-amap.github.io/fantasy-portrait/ ✅https://github.com/Fantasy-AMAP/fantasy-portrait