Neural Light Rig: Точное восстановление нормалей объектов и материалов с помощью многосветового диффузионного моделирования
Восстановление геометрии и материалов объектов из одного изображения представляет собой сложную задачу из-за его недоопределенного характера. В этой статье мы представляем Neural LightRig, новую структуру, которая усиливает внутреннюю оценку, используя вспомогательные условия многосветовой подсветки из 2D-диффузионных приоритетов. В частности, 1) сначала мы используем приоритеты освещения из моделей диффузии большого масштаба, чтобы построить нашу многосветовую модель диффузии на синтетическом наборе данных перераспределения с выделенными дизайнами. Эта модель диффузии генерирует множество согласованных изображений, каждое из которых освещено точечными источниками света в разных направлениях. 2) Используя эти разнообразные освещенные изображения для снижения неопределенности оценки, мы обучаем большую модель G-буфера с архитектурой U-Net для точного предсказания нормалей поверхности и материалов. Обширные эксперименты подтверждают, что наш подход значительно превосходит современные методы, что позволяет точно оценивать нормали поверхности и материалы PBR с яркими эффектами перераспределения освещения. Код и набор данных доступны на нашей странице проекта по адресу https://projects.zxhezexin.com/neural-lightrig.
