AnyDressing: Настраиваемая виртуальная примерка одежды с помощью латентных диффузионных моделей

В последние годы область генерации изображений претерпела значительные изменения благодаря достижениям в области латентных диффузионных моделей (LDM). Одним из наиболее захватывающих направлений является создание виртуальных примерок одежды, которое позволяет пользователям видеть, как различные предметы одежды будут выглядеть на них. В этой статье мы рассмотрим метод AnyDressing, который предлагает настраиваемую виртуальную примерку с использованием многообразия одежды и текстовых подсказок.

AnyDressing представляет собой новую методологию, направленную на решение задачи многообразной виртуальной примерки (Multi-Garment Virtual Dressing). Эта задача включает в себя создание изображений персонажей, одетых в любые комбинации целевых предметов одежды, основываясь на текстовых подсказках или других условиях. Проблемы, с которыми сталкиваются существующие методы, включают:

1. Сохранение деталей одежды: Предотвращение смешивания различных предметов одежды, сохраняя при этом их текстуры.
2. Согласованность текста и изображения: Минимизация влияния нескольких предметов одежды на нерелевантные области, чтобы обеспечить соответствие с текстовыми подсказками.
3. Совместимость с плагинами: Обеспечение бесшовной интеграции с плагинами управления для LDM.

Архитектура AnyDressing

AnyDressing состоит из двух основных сетей: GarmentsNet и DressingNet.

GarmentsNet

GarmentsNet отвечает за извлечение детализированных характеристик одежды. Он включает в себя модуль, называемый Garment-Specific Feature Extractor (GFE), который использует параллельные слои самовнимания для индивидуального кодирования текстур одежды. Эта архитектура позволяет избежать смешивания одежды и обеспечивает эффективность сети.

DressingNet

DressingNet интегрирует извлеченные характеристики для виртуальной примерки с использованием механизма Dressing-Attention и стратегии обучения Instance-Level Garment Localization (IGL). Dressing-Attention позволяет эффективно интегрировать текстурные подсказки в синтетические изображения, а IGL гарантирует, что каждая характеристика одежды фокусируется на соответствующей области изображения.

Методология

Процесс обучения

AnyDressing обучается на наборе данных, состоящем из триплетов изображений, где каждое изображение включает в себя модель, одетую в определенные предметы одежды. Используя модели человеческого парсинга, система извлекает отдельные предметы одежды и создает триплеты для обучения.

Процесс генерации

При генерации изображения AnyDressing использует текстовые подсказки, чтобы адаптировать внешний вид персонажа. Это включает в себя использование механизма Dressing-Attention для интеграции характеристик одежды в процессе денойзинга.

Преимущества AnyDressing

1. Гибкость: AnyDressing позволяет пользователям комбинировать различные предметы одежды по своему усмотрению, что делает его идеальным для применения в электронной коммерции и креативном дизайне.
2. Сохранение текстур: Механизмы GFE и IGL обеспечивают высокую степень детализации и сохранение текстур, что критично для реалистичной визуализации одежды.
3. Совместимость с плагинами: AnyDressing можно легко интегрировать с существующими расширениями управления для LDM, такими как ControlNet и IP-Adapter.

Эксперименты и результаты

В ходе экспериментов AnyDressing показал превосходные результаты как в количественном, так и в качественном отношении по сравнению с существующими методами. Модели были протестированы на различных наборах данных, и результаты подтверждают, что AnyDressing превосходит традиционные методы в задачах многообразной виртуальной примерки.

Качественный анализ

Визуальные результаты, полученные с использованием AnyDressing, демонстрируют высокую степень согласованности в текстуре и стиле одежды, а также точное соответствие текстовым подсказкам. Это подтверждается пользователями, которые предпочли результаты AnyDressing в сравнении с другими методами.

Количественный анализ

AnyDressing была оценена по нескольким метрикам, включая текстурную согласованность и соответствие текстовым подсказкам. Результаты показали, что AnyDressing значительно превосходит существующие методы, как в единичной, так и в многообразной виртуальной примерке.

Заключение

AnyDressing представляет собой значительный шаг вперед в области виртуальной примерки одежды. Благодаря инновационным архитектурным решениям и эффективным механизмам интеграции, этот метод позволяет пользователям легко комбинировать различные предметы одежды и получать высококачественные изображения, соответствующие их запросам. Это открывает новые возможности для применения в сфере электронной коммерции и креативного дизайна, предоставляя пользователям уникальный опыт виртуальной примерки.