3D Convex Splatting: Рендеринг Полей Яркости с Использованием 3D Гладких Выпуклостей

Недавние достижения в реконструкции радиантных полей, такие как 3D Gaussian Splatting (3DGS), достигли качественной синтезы новых видов и быстрого рендеринга, представляя сцены в виде композиций гауссовых примитивов. Однако 3D гауссианы имеют несколько ограничений для реконструкции сцен. Точно захватить жесткие края сложно, не увеличивая значительно количество гауссиан, что создает большую память. Более того, они имеют трудности с представлением плоских поверхностей, так как они рассеиваются в пространстве. Без рукотворных регуляризаторов они имеют тенденцию неправильно рассеиваться вокруг фактической поверхности. Чтобы обойти эти проблемы, мы представляем новый метод, названный 3D Convex Splatting (3DCS), который использует 3D гладкие выпуклые формы в качестве примитивов для моделирования геометрически значимых радиантных полей из изображений с многими взглядами. Гладкие выпуклые формы предлагают большую гибкость, чем гауссианы, позволяя лучше представлять 3D сцены с жесткими краями и плотными объемами, используя меньше примитивов. Оснащенный нашим эффективным растеризатором на основе CUDA, 3DCS демонстрирует превосходные результаты по сравнению с 3DGS в таких бенчмарках, как Mip-NeRF360, Tanks and Temples и Deep Blending. В частности, наш метод достигает улучшения до 0,81 в PSNR и 0,026 в LPIPS по сравнению с 3DGS, сохраняя высокие скорости рендеринга и уменьшая количество необходимых примитивов. Наши результаты подчеркивают потенциал 3D Convex Splatting стать новым стандартом для качественной реконструкции сцен и синтеза новых видов. Страница проекта: convexsplatting.github.io.