StrandHead: Генерация 3D-аватаров с помощью текстовых подсказок

Создание 3D-аватаров человека имеет огромное значение в различных областях, таких как цифровое присутствие, игры, кино и дополненная/виртуальная реальность (AR/VR). Традиционные методы генерации 3D-аватаров требуют значительных временных и трудозатрат, что делает их неэффективными для массового производства. Совсем недавно, благодаря достижениям в области машинного обучения и генерации на основе текста, стало возможным автоматическое создание 3D-аватаров на основе текстовых описаний.

В данной статье рассматривается новая методология под названием StrandHead, которая предлагает инновационный подход к генерации 3D-аватаров с разделением волос на отдельные пряди. Этот метод позволяет создавать высококачественные 3D-аватары с детализированными волосами и лицами, а также поддерживает гибкий перенос и редактирование причесок.

Проблематика существующих методов

Существующие методы генерации 3D-аватаров часто не способны адекватно моделировать волосы из-за использования обобщенных или запутанных представлений. Это приводит к недостаточной реалистичности и ограничивает возможности применения в таких задачах, как перенос стиля и редактирование причесок. Например, многие подходы используют целостные сетки или нейронные радиационные поля (NeRF) для представления волос, что не позволяет захватить внутреннюю геометрию волос, представляющую собой 3D-кривые.

Недавние работы, такие как HAAR, делают попытки генерации волос на основе текстовых подсказок, однако они сталкиваются с ограничениями, связанными с высокой стоимостью и недостатком доступных 3D-данных о волосах. Это ограничивает их способность генерировать новые стили причесок, которые не были включены в обучающий набор данных.

StrandHead: Новый подход

StrandHead представляет собой текстово-ориентированную платформу для генерации 3D-аватаров с разделением волос. В отличие от предыдущих подходов, StrandHead позволяет создавать волосы с учетом их внутренней геометрии, что делает возможным их реалистичное моделирование и физическую симуляцию. Основные преимущества StrandHead включают:

1. Генерация волос без 3D-данных: Метод использует 2D-генеративные модели, что позволяет избежать необходимости в дорогостоящих 3D-данных.
2. Детализированная геометрия: StrandHead использует дифференцируемую призматизацию для преобразования прядей волос в водонепроницаемые призматические сетки, что обеспечивает высокую степень детализации.
3. Регуляризация и согласованность: Вводятся потери регуляризации, основанные на статистических характеристиках волос, что позволяет улучшить качество генерируемых причесок.

Архитектура StrandHead

1. Генерация лысой головы

Первым шагом в процессе является создание 3D-модели лысой головы. StrandHead использует параметры модели FLAME для инициализации геометрии головы, а затем применяет потери, основанные на дифференцируемом семантическом рендеринге. Это позволяет получить высококачественную и реалистичную модель головы.

2. Генерация волос

Генерация волос осуществляется с помощью дифференцируемой призматизации. Этот алгоритм преобразует волосы в призматические сетки, что позволяет использовать их в качестве входных данных для рендереров на основе сеток. Процесс включает несколько этапов:

• Инициализация волос: Используются предобученные модели, чтобы выбрать наиболее представительные стили причесок.
• Призматизация: Прядь волос преобразуется в водонепроницаемую призматическую сетку с настраиваемой толщиной и определенными боковыми гранями.
• Регуляризация: Вводятся потери, обеспечивающие согласованность ориентации и кривизны волос, что улучшает их реалистичность.

3. Стратегия потерь

StrandHead использует несколько типов потерь для оптимизации процесса генерации:

• Потери дифференцируемой призматизации: Обеспечивают стабильность и точность преобразования прядей волос в призматические сетки.
• Потери согласованности ориентации: Гарантируют, что соседние пряди волос имеют схожую ориентацию, что важно для создания естественного вида.
• Регуляризация кривизны: Обеспечивает, что форма волос соответствует ожиданиям в зависимости от описания прически.

Эксперименты и результаты

В проведенных экспериментах StrandHead продемонстрировала превосходные результаты по сравнению с существующими методами генерации 3D-аватаров и волос. Используя наборы данных, сгенерированные с помощью ChatGPT, были получены высококачественные 3D-модели с реалистичными волосами и лицами.

1. Сравнение с SOTA методами

StrandHead была протестирована в сравнении с современными методами (SOTA) генерации 3D-аватаров. Результаты показали, что StrandHead превосходит конкурентов по всем ключевым метрикам, включая качество генерации и согласованность с текстовыми подсказками.

2. Применение в индустрии

Сгенерированные 3D-аватары могут быть легко внедрены в такие платформы, как Unreal Engine, что открывает новые возможности для физической симуляции и рендеринга в реальном времени.

Заключение

StrandHead представляет собой значительное достижение в области генерации 3D-аватаров, предлагая новый подход к моделированию волос с учетом их внутренней геометрии. Этот метод не только позволяет создавать высококачественные 3D-аватары, но и открывает новые горизонты для применения в различных областях, включая игры, кино и виртуальную реальность. Стремление к улучшению качества и реалистичности 3D-генерации делает StrandHead важным шагом вперед в развитии технологий создания цифровых аватаров.