Свежая выжимка ml и AI статей - каждый день
Реконструкция 3D-сцен из многократных изображений RGB является одной из ключевых задач в области компьютерного зрения и компьютерной графики. Эти модели могут быть использованы в широком круге приложений, включая виртуальную реальность, видеоигры, автономное вождение и робототехнику. Однако реконструкция интерьеров представляет собой сложную задачу из-за наличия больших регионах без текстуры, что часто приводит к неполным или геометрически ошибочным реконструкциям.
Совсем недавно методы на основе нейронных радиационных полей (NeRF) и 3D Гауссового сплошения (3DGS) продемонстрировали значительные достижения в области синтеза новых видов и реконструкции поверхностей. Тем не менее, несмотря на эти успехи, существующие методы все еще сталкиваются с проблемами, такими как артефакты и неполные реконструкции в интерьере.
В данной статье мы представляем 2DGS-Room, новый подход, основанный на 2D Гауссовом сплошении, который улучшает качество геометрической реконструкции интерьеров. Мы используем механизм, основанный на семенах, для управления распределением 2D Гауссовых функций, что позволяет достигать более четких структур и более точной геометрии.
Ключевой инновацией 2DGS является преобразование 3D объемных Гауссовых функций в плоские 2D Гауссовы функции. Это упрощает процесс представления сцен и обеспечивает более точную геометрию без необходимости дополнительной доработки сетки. Каждый 2D Гауссов диск определяется в локальной касательной плоскости и параметризуется центральной точкой, двумя ортогональными касательными векторами и вектором масштабирования, который контролирует дисперсии вдоль каждого направления.
Для улучшения точности реконструкции мы предлагаем механизм, основанный на семенах, который использует набор семенных точек для управления распределением и плотностью 2D Гауссовых функций. Этот механизм обеспечивает стабильную основу для генерации 2D Гауссовых функций, гарантируя, что их распределение тесно связано с геометрией сцены.
Мы также вводим приоритеты глубины и нормали, которые служат важными геометрическими ограничениями. Приоритет глубины помогает устранить искажения в детализированных областях, в то время как приоритет нормали обеспечивает точную оценку поверхности в регионах без текстуры. Это позволяет значительно улучшить качество реконструкции, особенно в сложных интерьерах.
Чтобы устранить артефакты и повысить качество реконструкции, мы применяем многоугольные консистентные ограничения. Эти ограничения обеспечивают как геометрическую, так и фотометрическую согласованность между несколькими видами, что позволяет добиться более точного представления внутреннего пространства.
Начинаем с облака точек, полученного методом структуры из движения (SfM), и фильтруем ненадежные выбросы. Затем мы применяем вокселизацию для генерации набора семенных точек, которые служат основой для создания 2D Гауссовых функций. Каждая семенная точка представляет собой центр воксельной сетки, что позволяет обеспечить стабильное распределение Гауссовых функций.
Для повышения точности реконструкции мы разрабатываем адаптивный подход к динамической настройке плотности семенных точек. Мы используем стратегию роста, основанную на градиенте, чтобы увеличивать плотность семенных точек в областях с высокой структурной сложностью и тонкими деталями. С другой стороны, мы реализуем стратегию обрезки, основанную на вкладе, которая удаляет семенные точки с минимальным вкладом в общую непрозрачность сцены.
В дополнение к механизму управления семенами мы интегрируем приоритеты глубины и нормали, которые служат важными геометрическими ограничениями для улучшения точности реконструкции. Приоритет глубины помогает устранить искажения в детализированных областях, тогда как приоритет нормали обеспечивает точную оценку поверхности в текстурных регионах.
Мы вводим многоугольные консистентные ограничения для уменьшения артефактов, вызванных изменениями освещения в интерьере. Эти ограничения помогают обеспечить согласованность геометрии и фотометрии между несколькими видами, что приводит к более качественной реконструкции.
Мы оцениваем производительность нашего подхода на данных из ScanNet и ScanNet++, используя несколько стандартных метрик, таких как точность, полнота, точность, отзыв и F-мера. Наша методика демонстрирует выдающиеся результаты по всем метрикам, что подтверждает ее эффективность в реконструкции интерьеров.
Визуальные результаты показывают, что 2DGS-Room значительно превосходит другие методы в захвате глобальных структур и сохранении тонких деталей. Благодаря механизму управления семенами и интеграции приоритетов глубины и нормали, качество реконструкции заметно улучшается.
Наш подход демонстрирует лучшие результаты по всем метрикам на наборе данных ScanNet. Мы достигаем значительного сокращения времени обучения по сравнению с методами, основанными на нейронных радиационных полях, что делает 2DGS-Room более эффективным для практического применения.
Мы проводим исследования абляции, чтобы оценить индивидуальный вклад каждого компонента в общую качество реконструкции. Результаты показывают, что механизмы управления семенами, приоритеты глубины и нормали, а также многоугольные консистентные ограничения значительно способствуют улучшению качества.
2DGS-Room представляет собой новый метод для реконструкции интерьеров на основе 2D Гауссового сплошения, который использует структурную информацию из сцены для генерации семенных точек, направляющих локальные распределения Гауссовых функций. Интеграция геометрических приоритетов позволяет улучшить качество реконструкции в регионах без текстуры и в сложных деталях. Наша методика демонстрирует выдающиеся результаты по сравнению с существующими методами на множестве метрик и различных интерьеров, что подчеркивает ее значимость в области 3D-реконструкции.