Свежая выжимка ml и AI статей - каждый день
Оценка глубины из видеопотока — это одна из ключевых задач в области компьютерного зрения и машинного обучения. Она имеет множество приложений, включая мобильную робототехнику, автономное вождение, дополненную реальность и создание контента. Традиционно для преобразования видео в 3D модель сцены использовались методы, такие как структура из движения (SfM) и многовидовая реконструкция. Однако эти методы имеют свои ограничения, особенно при работе с нестандартными условиями, которые часто встречаются в «в дикой природе».
В последние годы наблюдается значительный прогресс в оценке глубины из одиночного изображения благодаря развитию больших моделей и использованию синтетических данных для обучения. Однако простое применение методов оценки глубины на основе одиночных изображений к каждому кадру видео приводит к проблемам с временной согласованностью, что может вызывать мерцание и дрейф глубины.
В этой статье мы рассмотрим модель RollingDepth, которая предлагает новый подход к оценке глубины из видеопотока, используя комбинацию многокадрового оценивателя глубины и алгоритма глобальной координации.
Оценка глубины из видео предполагает получение плотной карты глубины для каждого кадра, что позволяет восстановить трехмерную структуру сцены. Однако, как показывает практика, многие существующие методы не учитывают временные зависимости между последовательными кадрами, что приводит к артефактам, таким как мерцание и дрейф глубины.
RollingDepth — это модель, основанная на методах оценки глубины из одиночного изображения, которая адаптирована для работы с короткими видеосниппетами. Основные компоненты модели:
Многокадровый оцениватель глубины: Эта часть модели использует обученную на одиночных изображениях латентную диффузионную модель (LDM) для оценки глубины на основе очень коротких видеосниппетов (обычно три кадра).
Алгоритм глобальной координации: Этот алгоритм оптимально объединяет оценки глубины, полученные из разных видеосниппетов, обеспечивая временную согласованность.
Процесс работы RollingDepth включает несколько этапов:
Сэмплирование видеосниппетов: Из видео выбираются перекрывающиеся сниппеты с различными временными интервалами, чтобы захватить как краткосрочные, так и долгосрочные зависимости.
Оценка глубины: Каждый сниппет обрабатывается через многокадровый оцениватель глубины, который генерирует соответствующую карту глубины.
Координация глубины: Полученные карты глубины оптимально выравниваются и объединяются в единое видео с согласованной глубиной.
Дополнительная доработка: По желанию можно применить дополнительный этап доработки, который улучшает детали глубины за счет применения диффузионных шагов.
RollingDepth предлагает несколько значительных преимуществ по сравнению с существующими методами:
Временная согласованность: Модель обеспечивает согласованность глубины между кадрами, что устраняет мерцание и дрейф.
Гибкость: RollingDepth может обрабатывать видео произвольной длины, что делает его полезным для различных приложений.
Высокая точность: Модель демонстрирует лучшие результаты по сравнению с как специализированными оценивателями глубины для видео, так и высокопроизводительными моделями для одиночных кадров.
Существующие методы оценки глубины из одиночного изображения, такие как работы Eigen et al., продемонстрировали, что можно восстанавливать метрики глубины с использованием одиночных сенсоров. Современные подходы используют большие наборы данных и модели, такие как DINOv2 и Stable Diffusion, для улучшения качества оценок.
Существующие подходы к оценке глубины из видео можно разделить на три основные категории: оптимизация во время тестирования, предсказание в режиме прямой передачи и методы на основе диффузии. Однако многие из этих методов имеют ограничения, такие как высокая вычислительная сложность и зависимость от фиксированной длины видео.
RollingDepth использует LDM, адаптированную для оценки глубины на основе сниппетов. Модель обучается на синтетических данных, что позволяет ей эффективно обрабатывать различные сцены и условия освещения.
Сниппеты формируются с использованием «дилатированного» скользящего ядра, что позволяет захватывать временные зависимости на различных временных масштабах. Это улучшает качество оценок глубины за счет более полного учета контекста.
После получения оценок глубины для каждого сниппета, модель применяет алгоритм глобальной координации для выравнивания и объединения оценок в единое видео. Этот этап обеспечивает временную согласованность и устраняет артефакты.
Для обучения и оценки модели использовались несколько наборов данных, включая TartanAir и Hypersim. Эти наборы данных обеспечивают разнообразие сцен и условий, что позволяет модели обучаться и тестироваться на реальных примерах.
RollingDepth была протестирована на нескольких наборах данных, включая PointOdyssey и ScanNet. Результаты показали, что модель превосходит как методы оценки глубины из одиночных изображений, так и специализированные методы для видео. В частности, RollingDepth продемонстрировала наименьшую ошибку по сравнению с конкурентами.
Качественные сравнения показали, что RollingDepth сохраняет детали и структуру сцены лучше, чем другие методы, минимизируя мерцание и обеспечивая согласованность в оценках глубины.
RollingDepth представляет собой значительный шаг вперед в оценке глубины из видеопотока, предлагая эффективный и точный метод, который сочетает в себе преимущества одиночных изображений и временной согласованности. Этот подход может быть полезен для широкого спектра приложений, от автономного вождения до создания контента.
В будущем можно рассмотреть возможность интеграции других методов, таких как генеративные модели видео, для дальнейшего улучшения качества и точности оценок глубины.