Искусство без искусства: Генерация художественных изображений без предварительных знаний о графическом искусстве

В последние годы искусственный интеллект (AI) и, в частности, модели генерации изображений, такие как LLM, стали важными инструментами в области искусства. Они способны создавать визуальные произведения, которые могут соперничать с работами человеческих художников. Однако возникает вопрос: насколько необходимо предварительное знание о искусстве для создания художественных произведений? В данной статье мы исследуем этот вопрос, основываясь на работе, которая представляет новый подход к генерации изображений без доступа к традиционным художественным данным.

Основная идея

Мы предлагаем модель генерации изображений, которая обучается на данных, не содержащих графического искусства. Наша цель — выяснить, можно ли создать художественные произведения, используя лишь несколько примеров определённого художественного стиля. Мы используем метод, известный как Art Adapter, который позволяет модели адаптироваться к выбранному стилю, даже если она изначально не имела доступа к художественным изображениям.

Обзор существующих подходов

Генерация изображений

Модели генерации изображений, такие как диффузионные модели, привлекли значительное внимание благодаря своей способности создавать высококачественные изображения на основе текстовых подсказок. Эти модели, как правило, требуют обширных наборов данных, содержащих большое количество художественных изображений, чтобы успешно воспроизводить стили различных художников. Однако это также вызывает этические вопросы, связанные с авторскими правами и возможностью подделки работ.

Этические проблемы

Существующие модели часто сталкиваются с обвинениями в том, что они копируют стили известных художников без разрешения. Это привело к ряду судебных разбирательств и обсуждений о том, как обеспечить этическую целесообразность AI в искусстве. В ответ на эти проблемы некоторые исследователи начали разрабатывать методы, позволяющие исключить определённые концепции из обучающих наборов данных, однако эти методы часто оказываются неэффективными.

Методология

Art-Free Diffusion

Для решения вышеуказанных проблем мы разработали модель, которую назвали Art-Free Diffusion. Эта модель обучается на "арт-агностическом" наборе данных, который исключает любые графические элементы. Мы используем набор данных SAM-LLava-Captions10M, который в основном содержит изображения природных сцен, чтобы избежать влияния художественного контента.

Art Adapter

Для адаптации модели к конкретным художественным стилям мы используем Art Adapter — метод, позволяющий вводить художественные знания в модель, не имеющую предварительных знаний о графическом искусстве. Мы обучаем Art Adapter на небольшом количестве примеров художественных работ, что позволяет модели успешно воспроизводить стили, даже если она изначально была "арт-свободной".

Эксперименты

Оценка производительности

Мы провели ряд экспериментов, чтобы оценить, насколько успешно наша модель может имитировать художественные стили. Мы использовали методы оценки, такие как сравнение с реальными произведениями искусства, краудсорсинговые оценки художественной эффективности и анализ атрибуции данных.

Результаты

Наши результаты показывают, что изображения, созданные с помощью Art-Free Diffusion, воспринимаются пользователями как сопоставимые с произведениями, созданными моделями, обученными на больших наборах данных, содержащих художественные элементы. Это подтверждает, что модель может успешно адаптироваться к различным стилям, даже с минимальным предварительным обучением.

Обсуждение

Влияние природы на искусство

Интересно, что при анализе данных мы обнаружили, что изображения из набора данных SAM значительно способствуют процессу генерации художественных образов. Это подчеркивает, как реальный мир может вдохновлять художественное выражение. Даже абстрактные имитации искусства имели сильные связи с природными изображениями, что говорит о том, что искусство может возникать из непосредственного взаимодействия с окружающим миром.

Обратная связь от художников

Мы провели интервью с профессиональным художником, чтобы получить экспертное мнение о том, насколько хорошо наша модель может имитировать его стиль. Художник отметил, что AI действительно смог захватить некоторые аспекты его уникального стиля, хотя и с определенными ограничениями. Это подчеркивает потенциал AI в искусстве, но также и необходимость внимательного подхода к его использованию.

Заключение

В данной работе мы представили новый подход к генерации художественных изображений, который не требует предварительных знаний о графическом искусстве. Наша модель, Art-Free Diffusion, с помощью Art Adapter может успешно адаптироваться к различным художественным стилям, используя лишь несколько примеров. Это открывает новые горизонты для исследований в области AI и искусства, а также поднимает важные вопросы о природе художественного выражения и его связи с окружающим миром.