Momentum-GS: Моментное гауссовское самоотделение для высококачественной реконструкции больших сцен

Реконструкция больших 3D-сцен является важной задачей в различных областях, таких как автономное вождение, виртуальная реальность, мониторинг окружающей среды и аэрофотосъемка. Способность точно воссоздавать сложные сцены из наборов изображений критически важна для создания реалистичных 3D-моделей и поддержки высококачественной визуализации, анализа и симуляции. В последние годы метод 3D Gaussian Splatting (3D-GS) продемонстрировал значительный успех в этой области благодаря высокой точности реконструкции и быстроте рендеринга, превосходя методы на основе NeRF (Neural Radiance Fields).

Тем не менее, несмотря на успехи, остаются серьезные проблемы, связанные с потреблением памяти и хранилища при обучении больших сцен. Гибридные представления, которые интегрируют как неявные, так и явные характеристики, предлагают решение для смягчения этих ограничений. Однако при параллельном обучении на блоках возникают две критические проблемы: ухудшение точности реконструкции из-за снижения разнообразия данных и ограничение числа делимых блоков количеством доступных графических процессоров (GPU).

Чтобы решить эти проблемы, мы предлагаем метод Momentum-GS, который использует основанное на моменте самоотделение для повышения согласованности и точности между блоками, одновременно освобождая количество блоков от физических ограничений GPU.

Основные концепции

3D Gaussian Splatting

3D-GS обеспечивает эффективное решение для точной реконструкции сцен, используя дифференцируемые свойства гауссовских представлений и тайловый рендеринг. Каждая точка 3D-сцены моделируется как анизотропная гауссовская функция, что позволяет упростить процесс рендеринга за счет проекции и смешивания без вычислительных затрат, характерных для традиционных объемных методов.

Гибридные представления

Гибридные представления, такие как Scaffold-GS, сочетают в себе преимущества явных и неявных элементов, позволяя улучшить качество реконструкции за счет интеграции плотных воксельных сеток или структур на основе якорей с разреженными 3D-гауссовыми полями. Эти методы обычно используют MLP (многослойные перцептроны) в качестве гауссовского декодера, что обеспечивает высокую точность реконструкции при эффективном выводе.

Проблемы параллельного обучения

При параллельном обучении больших 3D-сцен с использованием гибридных представлений возникают две основные проблемы. Первая заключается в том, что независимое обучение каждого блока ограничивает разнообразие данных в декодере гауссовых функций, что снижает качество реконструкции. Вторая проблема связана с тем, что параллельное обучение с использованием общего декодера ограничивает масштабируемость, так как количество блоков ограничено доступными GPU.

Метод Momentum-GS

Архитектура

Momentum-GS сочетает в себе преимущества гибридных представлений с методами, специально разработанными для удовлетворения уникальных требований реконструкции больших сцен. Наш метод позволяет гибко масштабировать задачи реконструкции, периодически выбирая k блоков из n доступных и распределяя их по k GPU. Это позволяет избежать ограничений, связанных с количеством доступных GPU.

Самоотделение с моментом

Чтобы обеспечить согласованность между блоками, мы вводим сценическое самоотделение с моментом, при котором учительский гауссовский декодер, обновляемый с помощью момента, предоставляет глобальное руководство каждому блоку. Это руководство способствует совместному обучению между блоками, обеспечивая, чтобы каждый блок использовал более широкий контекст всей сцены.

Взвешивание блоков на основе реконструкции

Мы также внедряем механизм взвешивания блоков на основе качества реконструкции, который динамически корректирует акцент на каждом блоке в зависимости от его точности реконструкции. Это адаптивное взвешивание позволяет общему декодеру придавать приоритет менее производительным блокам, улучшая глобальную согласованность и предотвращая сходимость к локальным минимумам.

Эксперименты

Настройка экспериментов

Мы провели эксперименты на пяти сложных больших сценах, включая Building, Rubble, Residence, Sci-Art и MatrixCity. Momentum-GS продемонстрировал значительные улучшения, достигнув 12.8% увеличения в LPIPS по сравнению с CityGaussian, используя гораздо меньшее количество делимых блоков.

Результаты

Результаты показали, что Momentum-GS превосходит существующие методы по всем основным метрикам, включая PSNR, SSIM и LPIPS. Это подтверждает, что наш метод эффективно сбалансировал сохранение деталей и высокое качество рендеринга.

Визуализация результатов

Сравнения визуализации показывают, что Momentum-GS демонстрирует лучшее сохранение деталей и производит более четкие и реалистичные изображения по сравнению с другими методами, которые часто страдают от заметного размытия или потери структуры в сложных областях.

Заключение

В данной работе мы представили Momentum-GS, новый метод, основанный на моментном самоотделении, который значительно улучшает 3D Gaussian Splatting для реконструкции больших сцен. Основная идея заключается в использовании обновляемого по моменту учительского гауссовского декодера, который служит стабильной глобальной ссылкой для управления параллельными блоками обучения, эффективно продвигая пространственную согласованность и согласованность в реконструируемой сцене.

Наши эксперименты продемонстрировали сильные возможности гибридных представлений и методов самоотделения на основе момента для надежной реконструкции больших 3D-сцен, что открывает новые горизонты для дальнейших исследований и приложений в этой области.