Imagine360: Генерация Иммерсивного 360° Видео из Перспективных Анкеров
С развитием технологий виртуальной реальности и увеличением популярности иммерсивного контента, 360° видео становятся все более актуальными. Эти видео предоставляют зрителям возможность погружаться в динамичные сцены и исследовать их с разных углов. Однако создание качественного 360° видео требует значительных ресурсов и сложных технологий. В этой статье мы рассмотрим новый подход, предложенный в рамках работы "Imagine360", который позволяет преобразовывать стандартные перспективные видео в 360° видео с помощью продвинутых методов машинного обучения.
Задача Генерации 360° Видео
Традиционные методы генерации 360° видео часто требуют наличия панорамных изображений или сложных текстовых подсказок, что делает их трудоемкими и недоступными для широкой аудитории. В отличие от них, "Imagine360" предлагает более простой и интуитивный подход, основанный на использовании перспективных видео, которые легко снимаются с помощью обычных смартфонов.
Перспективное к 360° Видео
Процесс преобразования начинается с выбора перспективного видео, которое служит "якорем". Это видео с узким полем зрения проецируется на 360° пространство с использованием специальной техники, называемой P2E (перспективно-эквивалентное) отображение. В результате создается 360° видео, которое заполняется недостающими пикселями, основываясь на информации о движении и визуальных паттернах из якорного видео.
Архитектура Imagine360
Двухветвевое Дизайн
Основная архитектура "Imagine360" включает в себя двухветвевую структуру, состоящую из ветви для панорамного видео и ветви для перспективного видео. Каждая ветвь отвечает за обработку и денойзинг видео, что позволяет обеспечить как локальные, так и глобальные ограничения для генерации 360° видео.
- Панорамная ветвь - отвечает за создание глобального контекста для 360° видео.
- Перспективная ветвь - фокусируется на деталях и текстурах, обеспечивая высокое качество локального отображения.
Эта структура позволяет модели эффективно учиться на ограниченных данных, что критически важно для достижения высококачественных результатов.
Антиподальная Маска
Для улучшения генерации 360° видео "Imagine360" использует антиподальную маску, которая захватывает зависимости движения между антиподальными пикселями. Это позволяет модели лучше учитывать обратное движение камеры, что является важным аспектом при создании панорамного контента.
Учет Высоты
Одной из уникальных особенностей "Imagine360" является учет изменения высоты в видео. Это позволяет системе адаптироваться к различным углам наклона камеры, что особенно важно для обеспечения качественного отображения в 360° пространстве.
Применение и Результаты
Эксперименты и Сравнения
В ходе экспериментов "Imagine360" продемонстрировала превосходные результаты по сравнению с существующими методами генерации 360° видео. Модель была протестирована на различных наборах данных, и результаты показали, что "Imagine360" обеспечивает лучшую графическую и движенческую согласованность.
Качество Генерации
Сравнение с другими современными методами, такими как "Follow-Your-Canvas" и "360DVD", показало, что "Imagine360" генерирует видео с более высоким качеством изображения, эстетикой и плавностью движения. Модель также продемонстрировала лучшие результаты в оценке качества видео (VQA), что подтверждает ее эффективность.
Заключение
"Imagine360" представляет собой значительный шаг вперед в области генерации 360° видео. Используя доступные перспективные видео в качестве основы, эта модель позволяет создавать высококачественный контент, который может быть использован в различных приложениях, включая развлечение, образование и коммуникацию. С учетом своих преимуществ, "Imagine360" имеет потенциал изменить подход к созданию иммерсивного контента и сделать его более доступным для широкой аудитории.
В будущем планируется улучшение модели за счет разработки специализированного модуля для оценки высоты, что позволит еще больше повысить качество генерации 360° видео.