PanoDreamer: Синтез 3D панорам из одного изображения

Создание реалистичных 3D-сцен из одного изображения стало одной из ключевых задач в области компьютерного зрения и графики. Это направление активно развивается благодаря широкому спектру применений, включая виртуальную (VR) и дополненную реальность (AR), а также игры. В последние годы, с появлением мощных диффузионных моделей, исследователи начали разрабатывать новые подходы к реконструкции 3D-сцен. Однако существующие методы часто сталкиваются с проблемами последовательной генерации, что приводит к несогласованности между начальным и конечным состоянием сцены. В этой статье мы рассмотрим метод PanoDreamer, который предлагает новый подход к синтезу 360° 3D-сцен на основе одного изображения.

Обзор PanoDreamer

PanoDreamer представляет собой метод, который генерирует 360° панораму и соответствующую ей карту глубины в согласованной манере. В отличие от существующих методов, таких как LucidDreamer и WonderJourney, которые добавляют детали последовательно, PanoDreamer формулирует задачу как единую задачу синтеза панорамы и оценки глубины. Это позволяет избежать видимых швов и несоответствий в сцене.

Ключевым вкладом PanoDreamer является формулирование задач синтеза панорамы и оценки глубины как двух задач оптимизации, что позволяет эффективно решать их цели с помощью чередующихся стратегий минимизации. В результате, PanoDreamer демонстрирует превосходство над существующими методами по качеству и согласованности реконструируемых 3D-сцен.

Проблематика существующих методов

Ранее разработанные алгоритмы, такие как LucidDreamer и WonderJourney, показывают высокое качество результатов, но имеют ограничения, связанные с их последовательной природой. Эти методы создают 3D-сцену, следуя определенной траектории генерации, что часто приводит к несоответствиям между начальным изображением и сгенерированной сценой. Это происходит из-за того, что при повторном возврате к исходному изображению могут возникать видимые швы, что делает сцену неестественной.

С появлением диффузионных моделей исследователи начали использовать эти мощные инструменты для 3D-реконструкции. Однако многие из этих методов, хотя и способны генерировать 3D-сцены из текстовых подсказок, не имеют механизма, который бы обеспечивал согласованность с одним входным изображением.

Подход PanoDreamer

PanoDreamer предлагает новый подход, который начинается с генерации согласованной 360° панорамы из входного изображения с использованием предобученных диффузионных моделей. Этот процесс включает в себя две основные стадии: генерацию панорамы и оценку глубины.

Генерация панорамы

На первом этапе PanoDreamer использует диффузионные модели для создания панорамного изображения. Этот процесс включает в себя итеративное денойзинг изображения, начиная с зашумленного изображения и постепенно приближаясь к чистому изображению. Для достижения согласованности в процессе генерации, PanoDreamer формулирует задачу как задачу оптимизации с двумя терминами потерь. Это позволяет эффективно минимизировать потери и достичь согласованного панорамного изображения.

Оценка глубины

После генерации панорамы следующим шагом является оценка глубины. Для этого PanoDreamer использует существующие методы оценки глубины, адаптируя их для работы с панорамными изображениями. Эта задача также формулируется как задача оптимизации, что позволяет одновременно производить согласованную карту глубины и параметрическую функцию, которая согласует диапазон монокулярной глубины с целевой глубиной.

Восстановление 3D-сцены

На заключительном этапе PanoDreamer использует полученные панораму и карту глубины для восстановления 3D-сцены. Это включает в себя инпейтинг (восстановление) небольших окклюдированных областей и проекцию их в 3D-пространство. PanoDreamer использует представление 3D Gaussian Splatting для оптимизации деталей в финальной сцене, что позволяет создавать высококачественные и согласованные 3D-сцены.

Сравнение с существующими методами

PanoDreamer был протестирован на наборе данных, включающем 28 реальных и синтетических сцен, и сравнен с такими методами, как LucidDreamer и WonderJourney. Результаты показали, что PanoDreamer способен генерировать более согласованные панорамы и 3D-сцены, чем другие подходы, что подтверждается как визуально, так и численно.

Качество панорам

При сравнении качества панорам, PanoDreamer показал превосходство по метрикам качества, согласованности и эстетики. Панорамы, созданные PanoDreamer, демонстрируют высокую степень согласованности и отсутствие швов, что делает их более естественными и реалистичными.

Реконструкция 3D-сцены

При реконструкции 3D-сцен PanoDreamer также показал лучшие результаты по сравнению с конкурентами. Сцены, созданные с помощью PanoDreamer, были более согласованными и свободными от артефактов, которые часто встречаются в результатах LucidDreamer и WonderJourney. Это подчеркивает важность согласованности в создании 3D-сцен, особенно при их визуализации из различных углов обзора.

Заключение

PanoDreamer представляет собой значительный шаг вперед в области синтеза 3D-сцен из одного изображения. Его подход, основанный на параллельной генерации панорамы и оценке глубины, позволяет создавать высококачественные и согласованные 3D-сцены. Используя методы оптимизации и чередующиеся стратегии минимизации, PanoDreamer обеспечивает согласованность и качество, которые превосходят существующие методы.

Таким образом, PanoDreamer открывает новые горизонты для применения в виртуальной и дополненной реальности, а также в других областях, где требуется создание реалистичных 3D-сцен на основе ограниченных данных.