Свежая выжимка ml и AI статей - каждый день
Восстановление изображений (IR) является одной из ключевых задач в области компьютерного зрения, направленной на улучшение визуального качества и оптимизацию работы последующих задач. Цель IR — восстановить высококачественные изображения, систематически устраняя различные искажения, присутствующие в низкокачественных входных данных. Эти искажения могут возникать из-за сложного взаимодействия внешних условий окружающей среды и ограничений камер во время процесса захвата изображений, таких как неблагоприятные погодные условия, шум, размытие и условия низкой освещенности.
Существующие модели восстановления изображений часто требуют предварительного знания типа искажений, которые необходимо устранить. Однако в реальной практике IR часто работает в условиях "слепого" восстановления, когда заранее неизвестно, какие искажения присутствуют в изображении. Это делает задачу восстановления значительно более сложной. Современные модели, использующие глубокое обучение, продемонстрировали значительные достижения в этой области, однако они обычно обучаются на наборах данных, содержащих только определенные типы искажений, что ограничивает их обобщающую способность.
В данной статье мы представляем модель адаптивного слепого универсального восстановления изображений (Adaptive Blind All-in-One Image Restoration, ABAIR), которая может эффективно справляться с множественными и комбинированными искажениями, а также обобщаться на новые, ранее невидимые искажения. ABAIR включает в себя три основных компонента: предобучение на большом наборе данных с синтетическими искажениями, адаптацию к конкретным задачам восстановления с использованием независимых адаптеров и адаптивное комбинирование адаптеров с помощью легковесного оценщика искажений.
Существующие методы восстановления изображений сталкиваются с несколькими проблемами. Во-первых, они предполагают, что тип искажений известен заранее, что позволяет им целенаправленно устранять их. Однако в реальных условиях IR должен работать в "слепом" режиме, что значительно усложняет задачу. Во-вторых, реальные изображения часто содержат комбинированные искажения, такие как движение объекта в условиях низкой освещенности или сжатое изображение, захваченное в туманную погоду. Хотя существующие модели могут обрабатывать различные типы искажений, они обычно обрабатывают только один тип искажения за раз, что ограничивает их эффективность в сложных практических случаях.
Современные модели восстановления изображений, такие как подходы "все в одном", предназначены для обработки нескольких типов искажений в рамках единой модели. Однако эти модели требуют наличия всех типов искажений на этапе обучения, что ограничивает их способность обобщаться на новые, ранее невидимые искажения. Адаптация таких моделей к новым типам искажений обычно требует повторного обучения всей модели с использованием расширенного набора искажений, что является как вычислительно затратным, так и времязатратным процессом.
Модель ABAIR состоит из трех основных компонентов:
Предобучение с синтетическими искажениями. Мы обучаем базовую модель на большом наборе данных с натуральными изображениями, содержащими множество синтетических искажений. В этом этапе также используется сегментационная голова для оценки типов искажений на уровне пикселей, что позволяет создать мощный каркас, способный обобщаться на широкий спектр искажений.
Адаптация к конкретным задачам восстановления. Мы обучаем независимые адаптеры для каждой конкретной задачи восстановления, что позволяет модели адаптироваться к различным типам искажений.
Адаптивное комбинирование адаптеров. Мы разрабатываем легковесный оценщик искажений, который позволяет адаптивно комбинировать адаптеры в зависимости от входного изображения. Это обеспечивает гибкость в обработке изображений с несколькими искажениями.
Процесс обучения модели ABAIR включает три этапа:
Этап I: Предобучение с синтетическими искажениями. На этом этапе мы создаем набор данных с синтетическими искажениями, включая шум, размытие, дождь, туман и условия низкой освещенности. Каждое изображение содержит различные искажения в разных областях, а сегментационная голова помогает модели предсказывать эти искажения.
Этап II: Адаптация к специфическим задачам. На этом этапе мы обучаем адаптеры для каждой конкретной задачи восстановления, используя стандартные наборы данных. Каждый адаптер позволяет модели лучше справляться с конкретным типом искажения.
Этап III: Комбинирование адаптеров. На последнем этапе мы обучаем легковесный оценщик, который определяет, какие адаптеры использовать в зависимости от профиля искажений входного изображения. Это позволяет модели гибко адаптироваться к различным условиям.
Модель ABAIR демонстрирует превосходные результаты по сравнению с современными методами восстановления изображений. Мы провели эксперименты на нескольких наборах данных с различными условиями, включая три и пять типов искажений. Результаты показывают, что ABAIR значительно превосходит существующие методы, такие как Restormer, PromptIR и DiffUIR, как в известных, так и в невидимых задачах восстановления.
Одним из ключевых преимуществ модели ABAIR является ее способность обобщаться на новые, ранее невидимые искажения. Мы протестировали модель на наборах данных, которые не использовались во время обучения, и результаты показали, что ABAIR сохраняет высокую производительность даже в условиях, когда типы искажений не были заранее известны.
ABAIR также продемонстрировала свою эффективность в обработке смешанных искажений. Мы провели тесты на изображениях, содержащих несколько типов искажений одновременно, и модель успешно справилась с этими сложными случаями.
В данной работе мы представили модель адаптивного слепого универсального восстановления изображений (ABAIR), которая решает ключевые проблемы, связанные с восстановлением изображений в сложных условиях. Модель эффективно обрабатывает множественные и комбинированные искажения, демонстрируя высокую производительность и обобщающую способность. Это делает ABAIR многообещающим инструментом для практического применения в области восстановления изображений.