Ограниченные Диффузионные Имплицитные Модели (CDIM)

В последние годы диффузионные модели зарекомендовали себя как мощные инструменты для генеративного моделирования, способные захватывать сложные распределения данных. Однако их применение для решения обратных задач, таких как суперразрешение, восстановление изображений, и дефокусировка, сталкивается с рядом ограничений. В этой статье мы рассмотрим новый подход, названный Ограниченные Диффузионные Имплицитные Модели (CDIM), который расширяет возможности диффузионных моделей для эффективного решения линейных обратных задач с шумом.

Введение в Диффузионные Модели

Диффузионные модели, такие как DDPM (Denoising Diffusion Probabilistic Models), работают путем постепенного добавления шума к данным, а затем обучаются на обратном процессе, удаляя этот шум для восстановления исходного распределения данных. Это делает их идеальными для задач, где требуется восстановление или генерация данных из шумных или неполных наблюдений.

Основные Проблемы

1. Требование специфического обучения: Многие методы требуют дообучения или специфического обучения для каждой задачи.
2. Дополнительные вычисления: Использование предобученных моделей часто приводит к увеличению числа вычислений во время инференса.
3. Точность восстановления: Методы, такие как Diffusion Posterior Sampling (DPS), не всегда точно восстанавливают входные наблюдения.

CDIM: Новый Подход

CDIM модифицирует обновления диффузии, чтобы обеспечить выполнение ограничений на конечный вывод. Это достигается путем интеграции измерительных ограничений непосредственно в процесс диффузии.

Основные Принципы CDIM

• Точное восстановление: В случае бесшумных наблюдений CDIM может точно восстанавливать исходные наблюдения.
• Обработка шума: Для наблюдений с шумом CDIM оптимизирует расстояние Кульбака-Лейблера (KL) между эмпирическим распределением остатков и известным распределением шума.
• Ускорение инференса: CDIM значительно ускоряет процесс инференса, сокращая количество вычислений модели в 10-50 раз по сравнению с предыдущими методами.

Технические Детали

Обратные задачи

Обратные задачи в контексте CDIM формулируются как:

[ y = Ax ]

где ( y ) - это линейное измерение сигнала ( x ), а ( A ) - матрица измерений. В случае шумных наблюдений, мы имеем:

[ y = Ax + \sigma ]

где ( \sigma ) - шум, распределенный по известному закону ( r ).

Процесс Обратной Диффузии

CDIM использует предобученную диффузионную модель ( \epsilon_\theta(x_t, t) ) для предсказания шума ( \epsilon ) в каждом шаге ( t ). Обновление состояния в CDIM выглядит так:

[ \hat{x}0 = \frac{1}{\sqrt{\alpha_t}}(x_t - \sqrt{1 - \alpha_t} \epsilon\theta(x_t, t)) ]

где ( \hat{x}_0 ) - оценка исходного сигнала на шаге ( t ). Затем, для обеспечения выполнения ограничений, мы оптимизируем:

[ \text{argmin}{x{t-1}} |x_{t-1} - f_\theta(x_t)|^2 + \lambda |y - A \hat{x}_0|^2 ]

где ( f_\theta(x_t) ) - функция обновления состояния, а ( \lambda ) - параметр регуляризации.

Обработка Шума

Для шумных наблюдений CDIM использует минимизацию KL-дивергенции между распределением остатков и известным распределением шума:

[ \text{argmin}{x} |x - x_t|^2 \text{ subject to } D{KL}(R(A\hat{x}_0, y) | r) = 0 ]

где ( R(A\hat{x}_0, y) ) - эмпирическое распределение остатков, а ( r ) - известное распределение шума.

Применения и Результаты

CDIM демонстрирует превосходные результаты в различных задачах:

• Суперразрешение: Улучшение качества изображений при увеличении разрешения.
• Восстановление изображений: Восстановление поврежденных или неполных изображений.
• Дефокусировка: Устранение размытия на изображениях.
• 3D реконструкция: Восстановление 3D моделей из разреженных точечных облаков.

Эксперименты показали, что CDIM не только ускоряет процесс инференса, но и обеспечивает высокое качество восстановления, сопоставимое или превосходящее существующие методы.

Заключение

CDIM представляет собой значительный шаг вперед в области применения диффузионных моделей для решения обратных задач. Благодаря своей способности точно восстанавливать наблюдения и обрабатывать шум, CDIM открывает новые возможности для исследований и практического применения в компьютерном зрении, медицинской визуализации и обработке сигналов.