GarVerseLOD: Высококачественная 3D реконструкция одежды из одной фотографии с использованием набора данных с уровнями детализации
Высококачественные 3D модели одежды являются важными активами для широкого спектра приложений, от развлечений до профессиональных задач, включая визуальные эффекты, физическое моделирование и телеприсутствие в VR/AR. В производственных пайплайнах предпочтительнее использовать отдельные элементы одежды, так как они позволяют создавать слоистые композиции с внутренней моделью тела, что обеспечивает реализм движения и гибкость при переносе одежды. Однако реконструкция высококачественной 3D одежды из одной фотографии остается сложной задачей для современных алгоритмов визуализации. Высокая вариативность стилей одежды и ограниченность входных данных делают проблему сильно неопределенной, а сложные деформации, вызванные динамикой ткани, усложняют вывод.
Существует два основных подхода к оценке деформаций отдельных элементов одежды на позированных человеческих фигурах:
-
Методы на основе линейного смешивания скиннинга (LBS) фокусируются на предсказании деформаций, вызванных позами человека. В этих методах используются скиннинговые веса, связанные либо с скелетом, либо с поверхностными вершинами параметрической модели обнаженных людей (например, SMPL). Они эффективно представляют деформации, вызванные позами, но испытывают трудности с моделированием других сложных деформаций, вызванных окружающей средой или физической динамикой.
-
Методы на основе линий особенностей реконструируют сетки одежды из поверхностей SMPL и далее подгоняют их под границы многообразий одежды, что делает их универсальными для моделирования любых типов деформаций. Однако проблема оценки границ из одной фотографии сама по себе является сложной задачей из-за серьезных затенений и двусмысленностей 2D-3D.
Помимо технических проблем, другим препятствием для обучения на основе реконструкции одежды является ограниченное количество и качество 3D наборов данных. Из-за отсутствия локальных геометрических деталей в существующих наборах данных одежды, текущие методы на основе LBS не способны обучаться тонким геометрическим деталям (например, складкам), что приводит к грубому качеству 3D моделей одежды. ReEF аннотирует линии особенностей только для 400 моделей одежды в наборе данных RenderPeople. Ограниченный масштаб данных препятствует предыдущим подходам в обобщении на невидимые изображения и часто приводит к плохому качеству реконструкции линий особенностей (то есть границ одежды).
В данной работе мы стремимся решить вышеуказанные проблемы для реконструкции отдельных 3D элементов одежды с точки зрения как данных, так и алгоритмов. Мы представляем GarVerseLOD, специализированный набор данных и фреймворк, который достигает беспрецедентной устойчивости в реконструкции высококачественной 3D одежды из одной фотографии в неконтролируемых условиях (см. Рис. 1).
GarVerseLOD: Набор данных и фреймворк
Сбор данных
Чтобы улучшить количество и качество 3D данных об одежде, GarVerseLOD собирает 6,000 высококачественных моделей одежды, созданных профессиональными художниками с тонкими деталями. Он охватывает 5 наиболее часто встречающихся категорий – каждая категория имеет одинаковую топологию сетки, что облегчает интерполяцию между экземплярами и создание моделей смешанных форм.
Иерархическая структура набора данных
В то время как формы одежды различаются глобально в зависимости от стиля и топологии, локальные деформации определяются широким спектром факторов, включая позы тела, взаимодействие одежды с окружающей средой, само-столкновения и т.д. Поэтому мы предлагаем создать GarVerseLOD как иерархический набор данных с уровнями детализации (LOD), чтобы учесть это ключевое наблюдение. В частности, как показано на Рис. 2, GarVerseLOD содержит три базовых уровня баз данных:
- База данных стилей одежды (Garment Style Database) с одеждой в позе T и без деталей, описывающая общую форму одежды.
- База данных локальных деталей (Local Detail Database) включает пары моделей в позе T с и без тонких локальных геометрических деталей.
- База данных деформаций одежды (Garment Deformation Database) состоит из пар одежды в позе T и её деформированного аналога (то есть с глобальными деформациями).
Так как топологии сеток одинаковы в каждой категории, мы можем легко извлекать локальные детали и глобальные деформации из парных моделей в соответствующей базе данных и комбинировать все уровни геометрии для получения Финального набора данных одежды (Fine Garment Dataset).
Генерация парных изображений
Мы представляем новый подход к маркировке данных для генерации обширных пар изображений для каждой модели одежды. В частности, мы используем последние достижения в области условных диффузионных моделей для преобразования текстурных рендерингов в фотореалистичные изображения с разнообразным внешним видом. Это повышает способность обобщения GarVerseLOD при работе с неконтролируемыми изображениями.
Методы
Алгоритмический подход
Мы предлагаем соединить лучшие аспекты подходов на основе LBS и методов на основе линий особенностей. Сначала мы строим параметрическую модель грубых форм одежды в базе данных стилей. После оценки коэффициентов смешанных форм грубой одежды мы последовательно уточняем результат, добавляя глобальные деформации, вызванные позами, и тонкие локальные деформации. Благодаря структуре LOD в GarVerseLOD, эти три шага могут быть выполнены в раздельном порядке с уменьшенной сложностью. Мы используем линейное смешивание скиннинга для оценки деформаций, вызванных позами тела, а неявное представление одежды обучается для захвата тонкой поверхности, выровненной по пикселям, из оцененных 2D карт нормалей.
Предсказание границ
Чтобы бороться с затенениями, мы представляем новую стратегию предсказания границ, осведомленную о геометрии, которая снабжает 2D особенности 3D информацией из оцененной тонкой поверхности для лучшей локализации 3D границ.
Эксперименты и результаты
Наши экспериментальные результаты показывают, что GarVerseLOD способен эффективно реконструировать одежду с разнообразными формами и сложными деформациями, демонстрируя значительно лучшую способность к обобщению по сравнению с предыдущими методами.
Заключение
GarVerseLOD представляет собой значительный шаг вперед в области реконструкции 3D одежды, предлагая новые методы и данные для решения проблемы создания высококачественных моделей одежды из одной фотографии. В будущем мы планируем расширить набор данных и улучшить алгоритмы для еще более точной и универсальной реконструкции.