Введение в MyTimeMachine: Персонализированная трансформация возраста лица

Фейс-эйджинг, или процесс визуального старения лица, является сложным и многогранным заданием, требующим учета множества факторов, таких как пол, этническая принадлежность, образ жизни и генетика. Эти факторы делают создание универсальной модели для точного предсказания старения лица практически невозможным. Существующие методы, такие как SAM, CUSP, AgeTransGAN и FADING, могут генерировать реалистичные изображения, но часто не способны точно отобразить, как лицо конкретного человека будет выглядеть в определенном возрасте.

В данной статье мы представим MyTimeMachine (MyTM) — новую систему для персонализированной трансформации возраста лица, которая использует комбинацию глобальных приоритетов старения и персональных фотографий для создания точных и индивидуализированных изображений. MyTM способна обучаться на небольшом наборе фотографий (около 50 изображений), охватывающих возрастной диапазон от 20 до 40 лет, и генерировать лица, которые не только выглядят реалистично, но и сохраняют уникальные черты лица человека на целевом возрасте.

Основные концепции MyTimeMachine

1. Персонализация с помощью адаптера

MyTM использует предобученную модель SAM, которая обучена на большом наборе данных FFHQ и способна к непрерывному старению лица. Однако для персонализации мы вводим адаптерную сеть (Adapter Network), которая настраивается на индивидуальные черты старения, используя личные фотографии. Эта сеть корректирует векторы латентного пространства, полученные от SAM, добавляя персонализированные особенности старения.

2. Лосс-функции для персонализации

Для обучения адаптерной сети мы разработали три специальные лосс-функции:

• Персонализированная лосс-функция старения (Personalized Aging Loss): Эта функция потерь обеспечивает, что черты лица на преобразованном изображении будут максимально похожи на черты лица на референсных изображениях того же возраста из личной коллекции фотографий.

• Регуляризация экстраполяции (Extrapolation Regularization): Эта функция контролирует эффекты старения за пределами возрастного диапазона, используемого для обучения, используя глобальные приоритеты SAM.

• Адаптивная регуляризация w-нормы (Adaptive W-norm Regularization): Она адресует проблему баланса между инверсией и изменяемостью в латентном пространстве StyleGAN2, обеспечивая, что изменения в форме и текстуре лица из-за старения сохраняют идентичность.

3. Применение к видео

MyTM также может быть расширена для работы с видео, используя техники замены лиц (face-swapping), чтобы обеспечить временную согласованность и сохранение идентичности в ре-эйджинговых видео.

Эксперименты и результаты

Набор данных и экспериментальная установка

Мы создали набор данных, включающий изображения 12 знаменитостей с разнообразными этническими и возрастными характеристиками. Для каждой знаменитости мы собрали около 50 фотографий, охватывающих их возрастной диапазон. Мы провели эксперименты по двум сценариям: возрастная регрессия (де-эйджинг) и возрастная прогрессия (старение).

Сравнение с существующими методами

MyTM показала превосходство над существующими методами в плане точности возраста и сохранения идентичности. В экспериментах по возрастной регрессии, MyTM достигла наилучших результатов по метрикам Age MAE и ID sim, значительно опережая такие методы, как SAM, CUSP, AgeTransGAN и FADING.

Абляционные исследования

Абляционные исследования подтвердили, что каждая из предложенных лосс-функций и архитектура адаптера вносят значительный вклад в улучшение качества персонализированной трансформации возраста.

Заключение

MyTimeMachine представляет собой инновационный подход к персонализированному фейс-эйджингу, который сочетает в себе глобальные приоритеты старения с индивидуальными характеристиками, полученными из личных фотографий. Этот метод открывает новые возможности в области визуальных эффектов, криминалистики и других областей, где требуется точное моделирование старения лица. Однако, несмотря на все преимущества, MyTM имеет свои ограничения, особенно в обработке аксессуаров и некоторых аспектов изменения внешности, таких как цвет волос и глаз.

В будущем исследования могут быть направлены на улучшение обработки аксессуаров, а также на дальнейшую оптимизацию и расширение возможностей модели для более широкого диапазона применений.