Стильные решения: SNR-сэмплер для генерации изображений с учетом стиля

Современные крупномасштабные диффузионные модели создают высококачественные изображения, но сталкиваются с трудностями при обучении новым, индивидуализированным художественным стилям, что ограничивает создание уникальных стилевых шаблонов. Наиболее перспективным подходом является тонкая настройка с использованием референсных изображений, однако часто это делается слепо, применяя те же цели и распределения уровней шума, что и при предварительном обучении, что приводит к неоптимальному соответствию стилю. Мы предлагаем новый метод - "самплер SNR, дружественный к стилю", который агрессивно смещает распределение отношения сигнал-шум (SNR) в сторону более высоких уровней шума во время тонкой настройки, фокусируясь на уровнях шума, где проявляются стилистические особенности. Это позволяет моделям лучше захватывать уникальные стили и генерировать изображения с более высокой стилевой согласованностью. Наш метод позволяет диффузионным моделям учиться и обмениваться новыми "стилевыми шаблонами", улучшая создание персонализированного контента. Мы демонстрируем возможность создания стилей, таких как персональные акварельные картины, минималистичные плоские мультфильмы, 3D-визуализации, многопанельные изображения и мемы с текстом, тем самым расширяя диапазон генерации, основанной на стиле.