Яндекс объединил генерацию и редактирование изображений в одной нейросети

Инженеры и исследователи «Яндекса» разработали Alice AI ART 2.0 — первую единую нейросетевую модель компании, которая одновременно отвечает за генерацию изображений по текстовому запросу и их редактирование по инструкции пользователя. Об этом сообщил представитель «Яндекса». Раньше оба сценария работали на независимых технологических стеках — со своими моделями, данными, метриками и процессами обучения. Любое улучшение приходилось внедрять отдельно для каждой системы, что замедляло развитие обоих направлений и требовало вдвое больше ресурсов на поддержку.

Как объединённая архитектура меняет процесс

Переход к единой модели позволил объединить генерацию и редактирование в общей архитектуре на базе трансформера — это тип нейросети, который лежит в основе всех современных больших языковых моделей. Главное преимущество такого подхода — автоматический перенос знаний. Знания, полученные при обучении генерации изображений, теперь автоматически используются и при их редактировании, без дополнительной настройки.

По словам Сергея Кастрюлина, исследователя Yandex Research, особенно заметен такой перенос при работе с редкими визуальными концептами. Если модель научилась создавать по текстовому запросу изображения с элементами хохломской росписи или самоваром, она корректно использует эти же объекты при редактировании существующих изображений — без дополнительного обучения на специализированных наборах данных. Это означает, что модель гораздо лучше справляется с нестандартными творческими задачами.

Насколько выросла точность выполнения инструкций?

Для повышения точности выполнения пользовательских инструкций разработчики внедрили отдельный модуль, который преобразует короткий запрос в подробное описание задачи. По внутренним оценкам «Яндекса», это позволило повысить точность следования инструкциям при редактировании на 12% без изменения самой генеративной модели.

Кроме того, команда уделила особое внимание генерации текста внутри изображений — это одна из сложнейших задач для нейросетей. Для обучения модели подготовили специализированные наборы данных на русском и английском языках. После запуска Alice AI ART 2.0 количество скачиваний результатов в сценариях работы с надписями на изображениях выросло на 37%, а число запросов на генерацию конкретных персонажей — на 23%.

Второе место в мировом рейтинге среди открытых моделей

Во внутренних сравнительных тестах по методике Bradley—Terry модель заняла второе место среди международных генераторов изображений на основе AI, уступив только Gemini 3.1 Flash от Google. В задачах редактирования изображений Alice AI ART 2.0 вошла в группу мировых лидеров, а по точности выполнения пользовательских инструкций стала лучшей среди открытых моделей — то есть среди моделей с публично доступным кодом или весами. Стоит отметить, что модель «Яндекса» обходит по этому показателю многие закрытые коммерческие решения.

Что это значит для пользователей

Объединение генерации и редактирования в одной модели упрощает рабочий процесс: вместо переключения между разными инструментами пользователь описывает задачу в свободной форме, а система сама определяет, какой тип операции требуется. Это также снижает порог входа для новых пользователей — не нужно изучать интерфейсы двух разных сервисов. Технология уже работает в приложениях «Алиса AI» и «Шедеврум». Компания продолжит развивать единую архитектуру, расширяя поддержку языков и добавляя новые сценарии работы с визуальным контентом.