AlphaTablets: Новая генерация представления 3D-плоскостей для реконструкции из монокулярных видео

Мы представляем AlphaTablets, новаторское и общее представление 3D-плоскостей, которое характеризуется непрерывной 3D-поверхностью и точным delineation границ. Представляя 3D-плоскости в виде прямоугольников с альфа-каналами, AlphaTablets объединяют преимущества современных 2D и 3D представлений плоскостей, обеспечивая точное, последовательное и гибкое моделирование 3D-плоскостей. Мы выводим дифференцируемую растеризацию на основе AlphaTablets, чтобы эффективно отображать 3D-плоскости в изображения, и предлагаем новую схему снизу-вверх для 3D-планарной реконструкции из одноокулярных видео. Начав с 2D суперпикселей и геометрических подсказок от предварительно обученных моделей, мы инициализируем 3D-плоскости как AlphaTablets и оптимизируем их с помощью дифференцируемой рендеринга. Вводится эффективная схема слияния для облегчения роста и уточнения AlphaTablets. Через итеративную оптимизацию и слияние мы восстанавливаем полные и точные 3D-плоскости с твердыми поверхностями и четкими границами. Обширные эксперименты на наборе данных ScanNet демонстрируют наилучшие характеристики в 3D-планарной реконструкции, подчеркивая великий потенциал AlphaTablets как общего представления 3D-плоскости для различных приложений. Страница проекта доступна по адресу: https://hyzcluster.github.io/alphatablets