MVPaint: Синхронизированная мульти-вью генерация для текстурирования 3D объектов

Введение

Текстурирование является ключевым этапом в процессе создания 3D активов, который значительно улучшает их визуальное восприятие и разнообразие. Несмотря на недавние достижения в генерации текстур из текста (Text-to-Texture, T2T), существующие методы часто сталкиваются с проблемами, такими как локальные несоответствия, неоднородность текстур при просмотре с разных углов и зависимость от качества UV-развертки. Чтобы решить эти проблемы, мы представляем MVPaint — новую систему для генерации и улучшения текстур 3D объектов, которая обеспечивает высокое разрешение, бесшовность и согласованность между различными видами.

Основные компоненты MVPaint

MVPaint состоит из трех основных модулей:

1. Синхронизированная Мульти-вью Генерация (SMG): Этот модуль одновременно генерирует изображения с нескольких углов обзора, используя модель SMG, что приводит к грубому текстурированию с неокрашенными областями из-за отсутствующих наблюдений.

2. Пространственно-осведомленное 3D Инпейнтинг (S3I): Для полного текстурирования 3D модели, S3I эффективно закрашивает ранее невидимые области, обеспечивая полное покрытие текстурой.

3. Уточнение в UV-пространстве (UVR): Этот модуль улучшает качество текстуры в UV-пространстве, выполняя супер-разрешение и пространственно-осведомленное сглаживание швов для исправления пространственных несоответствий, вызванных UV-разверткой.

Синхронизированная Мульти-вью Генерация (SMG)

SMG начинается с генерации нескольких видов изображений одновременно, используя модель, которая учитывает текстурные инструкции и синхронизирует процесс генерации в UV-пространстве. Это помогает избежать проблемы "Януса", когда объект выглядит по-разному с разных углов, и обеспечивает высокую согласованность между видами.

• Модель T2MV: Используется для генерации начальных низкоразрешенных изображений с нескольких углов, основанных на текстовых инструкциях и контролируемых глубинными или нормальными картами.
• Синхронизация: В процессе генерации изображения синхронизируются в UV-пространстве, что минимизирует несоответствия между различными видами.

Пространственно-осведомленное 3D Инпейнтинг (S3I)

S3I решает проблему неокрашенных областей, которые не были видны в первом этапе. Этот модуль:

• Выполняет инпейнтинг в 3D пространстве: Используя пространственные отношения между точками, S3I закрашивает недостающие участки текстуры, учитывая геометрию модели.

Уточнение в UV-пространстве (UVR)

UVR улучшает качество текстуры:

• Супер-разрешение: Увеличивает разрешение UV-карты до 2K.
• Сглаживание швов: Использует алгоритм SSA для исправления несоответствий текстуры, вызванных UV-разверткой, путем сглаживания цветовых векторов в 3D пространстве.

Эксперименты и результаты

Мы провели обширные эксперименты на двух бенчмарках: Objaverse T2T и GSO T2T. Результаты показали, что MVPaint превосходит существующие методы по метрикам FID и KID, а также в пользовательских оценках за качество, бесшовность и согласованность текстур.

• Объективные метрики: MVPaint показал лучшие результаты по FID и KID, что свидетельствует о высоком качестве и согласованности генерируемых текстур.
• Субъективные оценки: Пользователи оценили MVPaint как лучший метод по всем критериям, включая общую качество, видимость швов и согласованность.

Заключение

MVPaint представляет собой значительный шаг вперед в области 3D текстурирования, предлагая методы для генерации высококачественных, согласованных и бесшовных текстур с минимальной зависимостью от UV-развертки. С его помощью можно создавать разнообразные и детализированные текстуры для 3D моделей, что открывает новые возможности в играх, анимации и виртуальной реальности.