Материал для всего: Генерация материалов для любых 3D объектов с помощью диффузии

Аннотация: Мы представляем MaterialAnything, полностью автоматизированную, унифицированную диффузионную систему, разработанную для создания физически обоснованных материалов для 3D объектов. В отличие от существующих методов, которые опираются на сложные процессы или оптимизации, специфичные для конкретных случаев, MaterialAnything предлагает надежное решение от начала до конца, адаптируемое к объектам при различных условиях освещения. Наш подход использует предварительно обученную модель диффузии изображений, улучшенную с помощью архитектуры с тройным выходом и функцией потерь рендеринга для повышения стабильности и качества материалов. Кроме того, мы вводим маски уверенности как динамический переключатель в модели диффузии, что позволяет ей эффективно обрабатывать как текстурированные, так и нетекстурированные объекты при различных условиях освещения. Применяя стратегию прогрессивной генерации материалов, руководствуясь этими масками уверенности, а также используя UV-пространственный уточнитель материалов, наш метод обеспечивает согласованные, готовые к UV-развертке материалы. Многочисленные эксперименты демонстрируют, что наш подход превосходит существующие методы по широкому спектру категорий объектов и условий освещения.

Физически обоснованный рендеринг (PBR) включает в себя сложные взаимодействия между геометрией, материалами и освещением. Качественные физические материалы гарантируют, что 3D объекты выглядят последовательно и реалистично при различных условиях освещения, что критически важно для таких приложений, как видеоигры, виртуальная реальность и кинопроизводство. Художник, используя программное обеспечение, такое как Blender или Substance 3D Painter, может создать реалистичные текстуры и материалы для 3D моделей, однако этот процесс является трудоемким и требует экспертных знаний в области графического дизайна.

Несмотря на недавние достижения в области 3D текстурной живописи, многие из этих методов не могут точно моделировать материалы, которые бы отделяли свет от текстуры, что приводит к эффектам затенения, таким как нежелательные блики и тени. Несколько последних работ попытались решить проблему генерации материалов для 3D объектов, но они остаются в значительной степени непрактичными из-за своей сложности и специфичности. Эти подходы либо требуют специфических оптимизаций для каждого случая, либо полагаются на мультимодальные модели, такие как GPT4-V, для извлечения материалов для различных частей объекта.

В результате такие подходы сталкиваются с значительными вызовами:

1. Ограниченная масштабируемость. Каждый случай требует специфических настроек параметров, что препятствует полной автоматизации процесса создания.
2. Уменьшенная надежность. Сложные процессы, включающие несколько моделей (например, SAM и GPT для сегментации и назначения), могут привести к нестабильности системы.
3. Ограниченная обобщаемость. Существующие методы чувствительны к освещению и испытывают трудности при обработке широкого спектра сценариев, включая реалистичное освещение (например, реальные сканы), нереалистичное освещение (например, сгенерированные текстуры) и отсутствие освещения (например, только альбедо).

Чтобы справиться с этими вызовами, мы предлагаем MaterialAnything, полностью автоматизированную, стабильную и универсальную генеративную модель для физических материалов. Наш метод принимает любую 3D сетку в качестве входных данных и генерирует высококачественные материальные карты через двухэтапный процесс: генерацию материалов в пространстве изображения и уточнение материалов в UV-пространстве.

Данная статья будет посвящена детальному обсуждению архитектуры и функционирования MaterialAnything, включая использование предварительно обученных моделей диффузии изображений, введение масок уверенности для управления освещением, стратегию прогрессивной генерации материалов и уточнение материалов в UV-пространстве. Мы также рассмотрим создание датасета Material3D, который использовался для обучения нашей модели, и представим результаты экспериментов, демонстрирующие превосходство нашего подхода над существующими методами.